FiRE: Enhancing MLLMs with Fine-Grained Context Learning for Complex Image Retrieval
FiRE：细粒度上下文学习增强多模态大模型复杂图像检索
🧭 细粒度上下文学习 · 图像检索
Shandong University · City University of Hong Kong · Harbin Institute of Technology (Shenzhen) · Shandong Jianzhu University
提出自动化细粒度五元组数据集构建与两阶段解耦微调，显著提升MLLM零样本复杂图像检索性能
📌 工作参考价值（4 点）
- 自动化细粒度比对数据构建：通过流水线生成包含图像、细粒度描述、修改文本的五元组，可复用于电商搜索中构建“参考图 + 修改指令 → 目标商品”的训练数据，改善组合查询效果。
- 两阶段解耦微调思路：先让模型学习细粒度上下文推理（理解修改意图），再对齐查询与目标表示，这一策略可迁移到多模态搜索、对话式推荐等任务，先理解用户意图再优化匹配。
- 轻量级MLLM也能实现强检索：文中用小型骨干即超越大模型，说明在业务中可通过精细的数据与微调设计，避免依赖超大模型，降低推理成本。
- 零样本能力直接用于检索重排：训练后的模型可直接计算查询与候选图像相似度，适用于搜索结果重排序，尤其在长尾查询或组合查询场景下提升相关性。