Diverse-Intent Multi-Turn Fashion Image Retrieval
多样化意图多轮时尚图像检索基准与 MLLM-VLP 对齐框架
🧭 多轮多意图图像检索基准与 MLLM-VLP 对齐框架 ★ 深度解读
Southern University of Science and Technology · Harbin Institute of Technology (Shenzhen) · Shandong University · Shenzhen Loop Area Institute
提出支持多意图切换与回溯的多轮时尚检索基准 DIM-Fashion，并设计三阶段 MLLM-VLP 框架 FashionAM 避免文本化瓶颈
📌 工作参考价值（4 点）
- 多意图多轮交互建模：电商搜索中用户常混合文字、图片、草图等查询，且可能突然“回到之前某轮结果再修改”，可借鉴 DIM-Fashion 的会话构造方式，合成带 rollback 的多样化多轮训练数据，提升对话式检索鲁棒性。
- 避免文本化瓶颈：现有 LLM 检索多将多模态查询转为文本再检索，丢失视觉细节。FashionAM 直接用可学习 query tokens 将多模态上下文对齐到冻结的商品图像嵌入空间，可迁移到以图搜图、多模态商品搜索等任务。
- 三阶段训练管线：Stage1 背景去除对齐使图库编码器关注物品本体；Stage2 用 MLLM 生成的背景去除图描述进行图像-文本对齐，仅微调最后两层，保持物品中心表示。该策略可低成本适配 CLIP 类模型到电商商品检索，降低背景干扰。
- 多源数据桥接：通过余弦相似度桥接不同数据集中的视觉相似物品，构造跨任务多轮 pair，可用于推荐系统中冷启动 item 的跨场景数据扩充或多任务统一建模。