EmbeddingGemma 2：统一高效多模态表征模型
🧭 多模态统一 embedding · 蒸馏与对比学习 ★ 深度解读
Google DeepMind · Google
744M 多模态 embedding 模型，以多阶段课程训练在文本/视觉/音频基准上达到新 Pareto 前沿，支持量化与截断部署
📌 工作参考价值（4 点）
- 统一商品多模态表示：图/文/视频/音频 natively 编码，适合电商搜索/推荐中的跨模态召回（如图搜商品、视频理解），避免先 ASR/OCR 再文本 embedding 的管线损失。
- 训练 recipe：先纯文本预微调（蒸馏）再多模态预微调（蒸馏），最后用对比 + spread-out + MRL 微调；加入 same-tower negatives 和 Plackett-Luce listwise loss，有利于排序/检索任务。
- 工程部署：用可调 vision token budget（70-1120）和 MRL 截断维度（768/512/256/128）做资源-质量 trade-off；QAT 后 int4 量化在手机上 <600MB，可在端侧实时出 embedding。
- 消融结论：多模态任务上 trainable vision encoder 比 frozen 大幅提升（MMEB-v2 52.27 vs 48.18）；native audio 比 ASR 提升 MSEB 69.54 vs 57.59，建议直接编码原始音频而非转写。
PAIR：LinkedIn 高级用户人推荐的偏好对齐意图检索
🧭 偏好对齐检索 · LLM Embedding ★ 深度解读
LinkedIn
用曝光条件偏好对比学习与可增量更新的历史注意力，将 LinkedIn Premium 人推荐检索 MAR@100 提升 56%，线上 CTR +7.5%
📌 工作参考价值（4 点）
- 用「曝光未点击」当负样本，而不是随机负样本：把生产日志里同批次曝光但未点击的候选作为难负例，随机样本作为易负例，可以让召回模型直接对齐线上检索策略的曝光分布，比 ANN 硬负挖掘更贴合真实曝光偏差。电商/广告召回可以直接复用这个负样本构造思路，尤其是多路召回混合的场景。
- 静态画像与动态意图分离，行为更新只在 embedding 空间做：Profile tower 和 Document tower 离线预计算，用户历史用最近 K 个点击 item 的预计算 embedding + positional attention 聚合成意图向量，更新复杂度 O(Kd)，不需要在线重过 LLM。适合大规模实时个性化，对需要频繁更新用户表示的推荐系统尤其有价值。
- Matryoshka 训练让一个模型同时服务多种维度预算：在训练时同时对 200/256/512/1024 维前缀计算 loss，线上可按 latency/storage 截断，不需要为不同业务线训练多个模型。电商多场景召回/粗排可以合并训练，降低模型维护成本。
- 工程细节可直接抄：bf16 而非 fp16 防止 DeepSpeed 梯度溢出；温度设 0.02；离线指标优先看 MAR@k，ACC 在小候选集容易饱和，MAR@k 更能反映排序召回质量。
X-Embedding：多语言专利现有技术检索的两阶段训练框架
🧭 检索排序 · 两阶段训练
Patsnap
提出两阶段训练框架 X-Embedding，先做专利结构与多语言对齐预训练，再用 X 类引用微调，64 维 Hit@100 达 89.09%
📌 工作参考价值（4 点）
- 两阶段训练：先做领域/结构对齐的预训练（如商品标题、描述、属性、用户评论等多视图对齐；跨语言商品对齐），再做任务微调，比直接 SFT 提升显著（+3.19 Hit@100），在低资源语言上增益更大。
- hard negatives 构造：用检索候选和弱相关（A 类）作为负样本，提升区分度；推荐系统可用曝光未点击、同类目但低相关、历史负反馈物品作为 hard negatives。
- Matryoshka 表示学习：一个模型输出 64/1024 维 embedding，低维保持高精度（89.09%），便于线上存储和检索成本控制，推荐召回可动态调整向量维度。
- 多语言对齐：对齐不同语言家族成员，可扩展到跨境电商/多语言用户场景，用跨语言正样本对增强语义一致性。
MRVQ：面向维度与速率弹性的单一驻留向量索引
🧭 向量检索 · 弹性量化索引 ★ 深度解读
Atlassian · National Taiwan University
用一个残差量化索引通过残差阶段和坐标前缀两种截断，同时服务多种维度与码率，大幅节省驻留内存
📌 工作参考价值（4 点）
- 在需要同时支持多 embedding 维度（Matryoshka prefix）和多压缩率（4/8/16 B/vector）的召回/检索场景，可用单个残差量化器替代每个配置存一套索引：训练时对多个前缀维度加权重建误差，服务时用 stage 前缀控制码率、坐标前缀控制维度，大幅减少内存和部署复杂度。
- 工程实现上，残差量化 stage 天然提供嵌套码长：只存最大码（本文为 16 B/vector），解码时截断前 b stages 即可得到低码率版本；query 保持 floating point 不对称打分，容易接入 Faiss 等现有 PQ/OPQ 检索链路。
- 对商品库更新快、需要频繁重建索引的电商/多租户场景，PCA-scalar 方案（PCA 旋转 + 按方差分配标量位 + 逐坐标量化）质量与 RaBitQ 相当，但拟合速度中位数快 420 倍，适合近实时构建。
- 注意两个负面结论：高 rate 下 QINCo2 可能训练 collapse，若复现需做稳定性处理；基于 residual energy 的 ranking bound 预测未达标，不能用于质量保证。
Omni-Embed-Mini：通过稠密蒸馏绑定模态而不遗忘
🧭 多模态嵌入蒸馏与对齐
Mohamed Bin Zayed University of Artificial Intelligence
0.9B 参数多模态嵌入模型，冻结文本塔、用稠密 caption 自身嵌入作教师，在不退化文本检索下对齐六模态
📌 工作参考价值（5 点）
- 多模态向量召回：把商品图片、视频、ASR 文案、详情页等映射到同一余弦空间，可实现自然语言 query 直接检索图片/视频/富文档，直接用于电商搜索、广告创意匹配、内容推荐。
- 冻结文本塔防退化：现有文本 embedding 服务（如商品描述召回）扩展多模态时，可完全冻结文本编码器，只对非文本模态编码器加轻量 projector 和 phased LoRA，避免线上文本检索指标下滑，工程上更安全。
- 用稠密 caption 做教师信号：用多模态 LLM 离线为图片/视频/音频批量生成 dense caption，再以文本塔 embed caption 作为学生对齐目标，无需单独训练教师模型，成本低且几何空间天然一致。
- 在线混合 hard negative miner：随着 encoder 更新逐步 sharpen 负样本，可结合 ANN 检索召回困难负样本，提升对比学习区分度，适合电商多模态检索中的难例挖掘。
- 0.9B 小模型即可覆盖六模态，2.3B 变体接近闭源 gemini-embedding-2，适合业务落地部署。
伸缩式语言模型
🧭 弹性 LLM 训练 · 随机前缀监督 ★ 深度解读
University of Cambridge · University of British Columbia · Google
单次训练让嵌套级联每个深度前缀均为有效语言模型，AULB降43–44%
📌 工作参考价值（4 点）
- 业务需要为不同延迟/成本部署多档 LLM 或小模型时，可尝试嵌套宽度递增架构 + 随机前缀全锚点训练：单次训练得到一个可任意深度截断的模型，替代多份 artifact，降低 GPU 成本（论文中比 vanilla 三模型方案低 1.7 倍）。
- 若只有少数固定 latency 档位，把 prefix sampler 集中在目标出口深度，可在单次训练的同时获得接近独立子模型的出口质量；若需要弹性降级或流量自适应，用 uniform sampler 换取全深度连续覆盖，两者是采样分布上的训练期选择。
- 中间深度崩溃的主因之一是 readout head 未校准而非主干能力不足；若不重训，可先对崩溃前缀做 cheap head-only fine-tune，虽仍落后全训练约 6 倍，但能恢复部分可用性，适合快速止血。
- 该方法在 200M 代理规模验证，迁移到 7B+ 的推荐/Agent 在线服务需自行验证；但每步仅两次 forward-backward、推理无额外开销，工程上易试错。
模型感知紧凑语义检索的 Matryoshka 哈希表示
🧭 嵌套哈希压缩 · 语义检索索引 ★ 深度解读
The Chinese University of Hong Kong, Shenzhen
两级训练哈希码，分离全宽训练与前缀组织，实现8/16/32字节嵌套二进制码在零样本检索上全面超越PQ/JPQ
📌 工作参考价值（4 点）
- 在向量召回/RAG 索引中，存储成本敏感时可采用 MHR 两阶段训练：先训练全宽 binary code 保证排序质量，再冻结编码器训练零初始化残差适配器让前缀可搜索，避免直接多前缀联合训练的跷跷板效应。
- 查询侧保留连续 logits、文档侧 hard sign 的不对称打分在检索质量与存储间取得平衡，并可映射到 FAISS IndexPQFastScan 的 analytic LUT 实现约 8.7× 加速；电商商品 embedding 检索可借鉴，尤其 CPU 服务。
- 嵌套前缀码可作为一个通用压缩 payload 在 IVF、HNSW/LEANN 剪枝、粗排过滤中复用，无需按不同字节预算重编码 corpus；可在推荐系统召回/粗排阶段用 8/16/32 字节嵌套码做自适应候选筛选，再对少量候选 full-precision rerank，接近浮点效果。
- 源域训练的 model-aware discrete code 在零样本域迁移上优于 reconstruction-based PQ/OPQ，说明用业务点击/成交等排序信号训练离散码比重建误差更值得投入；推荐场景可替换 PQ 作为 drop-in 压缩。
AdaWidth：面向稠密检索的查询自适应嵌入宽度
🧭 稠密检索 · 查询自适应嵌入宽度 ★ 深度解读
University of Washington
正交前缀适配器加查询路由器，在共享前缀下按查询分配嵌入宽度，匹配 SOTA 且维度减少 55%-84%
📌 工作参考价值（4 点）
- 双塔召回/商品搜索中，可以冻结已上线 encoder，加 Householder/WY 正交适配器对 query/item 共同旋转，保证全宽内积不变、全宽 KPI 不变；item 离线旋转一次，在线只算前缀，风险低。
- 在线先做 64 维前缀召回/排序，路由器只读已有排序的 score gap、熵等 rank-order 特征，判断是否不稳定；只对 top ρ 的 query 升级到 128/256 维，平均维度下降且无需额外 encoder 前向。
- 容量规划可参考 prefix sufficiency：所需维度随语料规模对数增长、随检索深度对数下降；大促候选池膨胀时不用线性扩维，可按 log N 调整。
- 低资源场景用 F=8 的 Householder 适配器仅约 13.8K 参数，比 dense adaptor 少 50-280 倍，效果仍领先 baselines，适合轻量部署。
Granite 嵌入多语言 R2 模型
🧭 Other ★ 深度解读
IBM Research
基于 ModernBERT 的多语言嵌入模型族，支持 200+ 语言与 32K 上下文，在检索、代码和长文档任务上达到领先水平，并提供同类最优的 97M 参数压缩模型。