pplx-embed-v2-late Technical Report
PPLX-Embed-V2-Late：0.6B/9B 多模态后期交互检索模型
🧭 多模态 late-interaction 检索蒸馏 ★ 深度解读
Perplexity AI
用 18B 教师表征蒸馏出 0.6B/9B 多模态 late-interaction 模型，支持大模型离线建库、小模型在线查询的共享向量空间
📌 工作参考价值（4 点）
- 非对称部署：用 9B 离线索引商品/文档/图片，0.6B 在线编码 query；报告显示 0.6B query + 9B doc 比纯 0.6B 平均 nDCG@10 高 1.6pp，query 延迟不变，适合电商大规模商品库和低延迟搜索。
- 表征蒸馏优于直接 contrastive：训练小 late-interaction 模型时，直接拟合 18B 教师的 token 级 L2 归一化表征，比单独对比学习更稳，尤其 <1B 模型；业务里想压缩强检索模型可以优先考虑这种 pointwise distillation。
- 128 维多向量是低成本选择：在视觉文档检索上，0.6B 128 维 multi-vector 超过同尺寸 0.8B 模型 3.3pp；相比 4096 维 dense，存储和 ANN 成本显著降低，适合电商图片搜索、商品详情页截图检索。
- 训练工程 trick：用 gradient caching + 自定义 Triton MaxSim kernel 支持 16,384 对比 batch；quasi-random golden-ratio Kronecker 采样保证多个子数据集比例稳定且均匀出现，可复用到多源商品/query 数据混合。