Re-ranking and Late Interaction Drive Retrieval Quality: A Controlled Comparison of RAG Strategies for Scientific Question Answering
重排序与晚期交互驱动检索质量：科学问答 RAG 策略受控对比
🧭 RAG 检索策略对比评测
San Jose State University, Department of Computer Science
在46万篇arXiv语料上系统对比6种RAG检索管线，ColBERT晚期交互与改写加重排效果最好，融合与Agent检索反不及基线
📌 工作参考价值
- 电商商品搜索/内容推荐的知识增强检索中，若当前向量召回是单向量池化，可优先评估 ColBERT/PLAID 这类 late-interaction 索引：同语料下 Hit@3 从 47–53% 翻倍到 93–95%，对最终生成质量有直接提升；代价是建索引与检索成本更高，适合高价值 query 或小规模候选集召回。
- LLM 查询改写不能单独上：改写可能让 query 漂移，尤其意图型 query 的 Hit@3 反下降（39.7% vs 46.3%）。实践中若上改写，必须接一个 reranker（listwise LLM rerank 或 cross-encoder），让改写+重排作为整体管线，否则不如直接 raw query 检索。
- 多查询融合 RRF 和 Agentic tool-call 在这些实验里没有带来增益，反而显著低于经典基线；业务引入 agent 自主决定是否检索时需要明确回答率与成本约束，不能因为“更智能”就默认更好。
- 评测设计可复用：固定 generator、prompt、文档池，用配对查询差异（paired delta + 95% CI）而非只看均值；LLM-as-a-judge 用不同模型家族以避免 self-preference；同时报告 answer rate 和 conditional score，避免拒答/零分扭曲结论，并报告 Hit@1/Hit@3/MRR@3 与生成质量的相关性。
动机：RAG 检索管线设计空间大，但缺乏在大规模领域语料上对多种策略的受控对比。作者在 463,971 篇 arXiv 2024–2025 论文上，固定 generator、prompt 与评测协议，系统比较 6 种检索管线。
方法关键点：
- 数据：从 10,000 篇论文抽样，用 Llama-3.1-8B-Instruct 生成 19,484 对 problem/method query，gold paper 为源论文；所有策略共用 SPECTER2 embeddings 与 Chroma 向量库，ColBERT 用 PLAID 索引。
- 策略：Classic dense top-3；LLM query rephrasing；改写 + LLM listwise rerank top-10 到 top-3；多 query RRF 融合；agentic tool-call 单步检索；ColBERTv2 late-interaction。
- 评测：Qwen2.5-32B 作为 judge（与 generator 不同模型家族），只根据答案文本评 accuracy/completeness/faithfulness/relevance/clarity/overall；同时报告 gold-paper Hit@1/Hit@3/MRR@3。
关键结果：
- ColBERT overall 3.94/5，Hit@3 92.8%（problem）/ 94.8%（method），answer rate 99.9%，显著优于所有单向量策略。
- 单向量中最好的是 Rephrased & Reranked：overall 3.77，Hit@3 47.5/52.8%，较 Classic 有 pooled delta +0.18。
- Query rewriting alone 在 problem query 上检索下降（Hit@3 39.7% vs Classic 46.3%）；Fusion 和 Tool Call 均显著低于 Classic。
- 检索质量驱动回答质量：gold paper 命中时回答分数高 0.36–1.18 分。
最值得记住：检索架构选择比增加 pipeline 复杂度更重要；在相同文档池下，late-interaction 带来接近翻倍的召回，而 query rewriting 必须配合 reranking 才能兑现收益。