Gemini Embedding 2: A Native Multimodal Embedding Model from Gemini
Gemini Embedding 2：原生多模态统一嵌入模型
🧭 多模态统一嵌入 · 跨模态检索 ★ 深度解读
基于 Gemini 构建的多模态统一嵌入模型，在文本/图像/视频/音频及交叉任务上达到 SOTA，并展现强零样本域泛化。
📌 工作参考价值（4 点）
- 原生多模态避免级联损失：音频直接编码方案比 ASR → 文本嵌入领先 +3.6 mrr@10，跨语言场景更达 +5.0。电商语音搜索（如智能客服、语音评论检索）可直接复用，省去 ASR 链路。
- 交织输入支持复杂搜索意图：模型可接受“图片+文本”或“视频片段+关键词”的组合 query，实现更精准的跨模态检索。在产品推荐中，用户可上传商品图加“类似款但更休闲”的文字，提升搜索命中。
- 多阶段多任务训练 + Model Soup 平衡通用与领域：PFT → FT → Model Soup 的配方可迁移至业务自有数据，少量领域数据 fine-tune 后通过 soup 恢复通用性，避免 Catastrophic Forgetting。适合电商垂直品类或 Agent 特定工具检索微调。
- MRL 多维度输出：单模型支持 768、1536、3072 维，实际部署可按成本/延迟选维度，无需重新训练。推荐系统可用低维向量做召回，高维做精准排序。