DenseOn with the LateOn: Fully Open Dense and Late-Interaction Models for Multilingual, Long-Context, and Code Search
完全开放的稠密与后交互多语言检索模型：翻译训练的泛化差异
🧭 开放检索模型训练与多语言泛化对比 ★ 深度解读
LightOn
开放训练数据与 recipe 下，翻译训练使 late-interaction 比 dense 模型对未见语言泛化更好
📌 工作参考价值（4 点）
- 可借鉴其非破坏性过滤流水线：对原始语料追加结构质量、语言置信度、交叉编码器分数等元信息，训练时按需过滤，便于定制，适合从电商商品/搜索日志构建召回训练集。
- 多语言场景下，若只有英文标注数据，用翻译训练（translate-train）扩展到目标语言是可行方案；但稠密双塔泛化弱，推荐在后交互模型（如 ColBERT）上做，尤其当业务需支持未翻译语言时。
- 微调阶段采用 mined hard negatives + 交叉编码器蒸馏可稳定提升召回精度，该 trick 可直接复用到精排或召回模型微调。
- 长文本描述（商品详情、广告文案等）召回中，后交互的 token 级匹配更有效，可考虑将单向量替换为多向量方案。