A Systematic Multi-Domain Evaluation of Document Retrievers
文档检索器的系统性多领域评估：33模型×7数据集
🧭 检索模型评测与选型
University of Konstanz
统一算力预算下离线评测33个检索器，揭示NV-Embed-v2质量高但延迟大、SPLADE-v3低延迟且MS MARCO最强、GritLM指令跟随最优。
📌 工作参考价值（4 点）
- 在电商搜索/推荐召回或 RAG 中，若在线 query 延迟敏感，优先考虑 SPLADE-v3：作为 sparse retriever，其质量接近 top dense 模型，且 MS MARCO 上达到最高分，延迟显著低于 NV-Embed-v2。
- 对需要遵循指令的检索任务（如个性化 query 改写后的召回、多意图搜索），优先评估 GritLM 这类指令跟随 dense retriever；可将其作为指令检索路的候选模型。
- 选型时不要只看单一 benchmark：本论文的多域评估和失败点分析表明不同模型/家族存在互补性，可在工程上采用 sparse+dense 多路召回融合提升鲁棒性。
- 复现论文的 off-the-shelf + 统一 compute budget 实验方式，可作为内部检索模型基线评测流程，避免过度调参导致不可比较。