决策导向推荐重排:Jev 的实证研究
🧭 决策导向模型与 LLM 重排权衡 ★ 深度解读
Singapore Management University · Meta AI
在候选集大小为20-200的受控重排中,Jev效果与点式Qwen相当且延迟增长更缓,占据独特质量-延迟区间
📌 工作参考价值(4 点)
- 当重排任务本质是「从预定义候选集中做选择」时,可以尝试决策导向模型(直接输出候选概率分布)替代通用 LLM 的点式/列表式重排,在候选集增大时延迟增长更缓,适合对 latency 敏感但希望保留文本语义理解的场景。
- 评估重排器必须把候选集大小 K 作为核心维度:小 K 下 listwise Qwen 效果尚可,K≥100 时 NDCG@10 从 0.519 骤降到 0.065(Movies),结论不能跨 K 泛化;工程选型时应在目标 K 区间内实测质量-延迟曲线。
- 构造 hard negatives 时可用 retrieval 模型 SASRec 的 top-K 非目标项,而不是随机负样本,这样能更好隔离重排能力与检索失败,并让所有方法在同一批 behavioral plausible 候选上对比。
- 对比 hosted API 模型与本地 GPU 模型时,延迟必须统一口径为 observed serving latency(包含网络、重试、排队),否则会严重低估远程模型的真实耗时;业务上线前应同时记录 median 和 P25/P75 分布。
Google Embeddings 2 与开源模型的多语言稠密检索及 RAG 系统基准评测
🧭 多语言稠密检索模型评测 ★ 深度解读
University of Salerno · University of Bari
系统对比 GE2 与 5 款开源嵌入模型,揭示 GE2 质量最优但延迟高,mE5-L 在短文本几乎持平,LaBSE 完全不适合检索。
📌 工作参考价值(4 点)
- 绝对不要用 LaBSE 做检索:它的训练目标是跨语言句子对齐,与 top-k 相关性排序天然不兼容,BEIR 上 nDCG@10 仅 0.188,FiQA 上低至 0.069,比随机还差。当前仍有很多教程将其用作多语言检索 backbone,应立即替换为 mE5-L 或 GE2。
- 短文本、单语场景优先用 mE5-L:在意大利语短篇章(平均 60 token)上,mE5-L 的 nDCG@10=0.279,与 GE2 的 0.282 几乎无差异,但延迟仅 31 ms,比 GE2 快 7.5 倍,适合对 <100ms SLA 敏感的实时检索或在线推荐服务。
- 长文档或 query–doc 严重不匹配时切换 GE2:对于法律文本、医疗文献等长篇幅内容,GE2 的 2048 token 上下文窗口避免了 BERT 系模型的截断损失;其RETRIEVAL_QUERY/RETRIEVAL_DOCUMENT 的非对称条件编码能系统性地处理 query 与文档的词汇风格差异,在 TREC-COVID 等任务上优势明显(0.799 vs 0.702)。
- 分块策略可大幅简化:在短篇章体裁(平均 60 token)中,所有模型在 32 token 即达性能饱和,进一步增大分块无增益;可优先使用固定 256-512 token 的窗口,仅在 token 极度受限(16 token)时语义分块才有效果。这可以将分块调优成本降为零。