Omni-Embed-Mini: Binding Modalities Without Forgetting via Dense Distillation
Omni-Embed-Mini：通过稠密蒸馏绑定模态而不遗忘
🧭 多模态嵌入蒸馏与对齐
Mohamed Bin Zayed University of Artificial Intelligence
0.9B 参数多模态嵌入模型，冻结文本塔、用稠密 caption 自身嵌入作教师，在不退化文本检索下对齐六模态
📌 工作参考价值（5 点）
- 多模态向量召回：把商品图片、视频、ASR 文案、详情页等映射到同一余弦空间，可实现自然语言 query 直接检索图片/视频/富文档，直接用于电商搜索、广告创意匹配、内容推荐。
- 冻结文本塔防退化：现有文本 embedding 服务（如商品描述召回）扩展多模态时，可完全冻结文本编码器，只对非文本模态编码器加轻量 projector 和 phased LoRA，避免线上文本检索指标下滑，工程上更安全。
- 用稠密 caption 做教师信号：用多模态 LLM 离线为图片/视频/音频批量生成 dense caption，再以文本塔 embed caption 作为学生对齐目标，无需单独训练教师模型，成本低且几何空间天然一致。
- 在线混合 hard negative miner：随着 encoder 更新逐步 sharpen 负样本，可结合 ANN 检索召回困难负样本，提升对比学习区分度，适合电商多模态检索中的难例挖掘。
- 0.9B 小模型即可覆盖六模态，2.3B 变体接近闭源 gemini-embedding-2，适合业务落地部署。