CORE: Improving Compositional Reasoning in MLLM Embedding via Reranker Distillation
通过重排器蒸馏提升 MLLM 嵌入的组合推理能力
🧭 多模态嵌入蒸馏 · 组合推理检索
CASIA · Alibaba Group · University of Chinese Academy of Sciences · Yale University
将重排器的跨注意力组合判断蒸馏为 Rank-KL listwise 目标，显著提升多模态嵌入的组合检索与细粒度区分
📌 工作参考价值（4 点）
- 双塔召回或 embedding 模型训练时，用 reranker 作为 teacher 做 listwise 蒸馏，Rank-KL 目标比传统 contrastive/pairwise 更能传递细粒度排序结构；电商图文相关性、属性绑定问题可直接复用。
- 五级匹配粒度（完全匹配/部分出现/属性错/对象错/全错）适合挖掘商品主图与 query 的难负样本：例如“红色条纹衬衫”与“蓝色条纹衬衫”应作为属性错误而非随机负样本，提升 embedding 对属性-对象组合的判别。
- 评估上不建议只看 Recall@K，可以按 L1-L5 错误类型分级统计，定位模型在绑定关系上的盲区；搜索/推荐中可迁移到 query-主图/标题-属性一致性评测。
- 工程上 teacher reranker 只在训练阶段蒸馏，推理仍用双塔 embedding，不增加线上 latency；注意需要统一数据构造和调优预算才能公平对比不同训练目标。