Learning to Compose: Revisiting Proxy Task Design for Zero-Shot Composed Image Retrieval
重新审视零样本组合图像检索的代理任务设计
🧭 零样本组合图像检索 · 代理任务学习
University of Science and Technology of China
提出可学习的二阶段组合模型FoCo，通过文本锚定视觉聚合与上下文补全代理任务，无需三元组监督即达SOTA
📌 工作参考价值（4 点）
- 电商以图搜稿/找同款场景可直接复用：用图片+文字修改（如“袖子更长”）搜索商品，无需昂贵三元组标注，仅靠图像-文本对即可训练组合编码器。
- 两个代理任务可迁移到多模态搜索模型训练：文本锚定的视觉聚合（让模型学会关注修改相关区域）和上下文补全（保留场景上下文避免语义丢失），能提升模型对细粒度修改的敏感度。
- 跨实例对比目标（cross-instance contrastive）有意引入类别内变异作为负例，可借鉴到商品搜索中防止模型走捷径（如只靠图片相似度忽略文本修改），让模型更关注文字指令。
- 整体框架与现有预训练视觉-语言模型（如CLIP）兼容，适合作为轻量插件嵌入现有检索系统，无需重建索引或修改推理流程。