Visual Contrastive Self-Distillation
视觉对比自蒸馏
🧭 多模态LLM · 在线自蒸馏
University of Maryland, College Park · University of California, San Diego · Duke University · MBZUAI
通过对比原图与内容擦除图的教师分布差异，无需外部教师或特权信号即可高效训练多模态LLM
📌 工作参考价值（4 点）
- 在商品图像理解的生成式推荐任务中，可构造“原图 vs 内容擦除图”的对比条件，让教师模型强化对商品关键特征的响应，抑制背景噪声，提升推荐文案或搜索查询生成的准确性。
- 使用 EMA 教师进行在线自蒸馏，无需外部强大教师，可降低训练成本。在 RLHF 或生成式检索的训练中，可基于模型自身分布差异构造更优训练目标。
- 对于 Agent 视觉决策（如 UI 操作），微调时采用该方法可使模型更关注任务相关区域，忽略无关背景，提升复杂界面下的精确操作能力。
- 方法不增加推理成本，适合部署在电商线上服务中，实现大规模商品图片的实时理解与描述生成。