混合检索的融合税:稀疏-稠密融合何时有害的诊断分析
🧭 混合检索 · sparse-dense 融合诊断 ★ 深度解读
Independent Researcher, Bothell, WA, USA · Independent Researcher, Issaquah, WA, USA
系统量化 BM25+密集检索融合在单查询上的损失,发现即便平均提升,13-48%查询反受损
📌 工作参考价值(4 点)
- 不要默认 RRF:若目标 domain 的 dense 检索明显强于 BM25,用 dense-heavy score interpolation(α=0.6-0.7)比 RRF 更稳;RRF 只在两路强度接近时更合适。
- 上线前做 per-query fusion 损益审计:统计比单独 dense 差的 query 占比(该论文 8-21%),尤其对风险敏感的商品搜索/广告召回;不要只看平均 nDCG。
- 不要依赖便宜 query 特征做跨 domain 路由:同一特征在不同 sparse-dense 平衡下方向会翻转,跨 dataset AUC 仅 0.59,路由收益不可靠;可考虑更重的 LLM judge 或在线评估。
- 排序第二级 reranker 不一定能修复第一级融合损失:先在目标域确认 reranker 可靠性;若 reranker 可靠,约 71-90% 原受损 query 被修复但会引入新 hurt query,需持续监控。
QueryRoute:查询改写选择的标准化评测基准
🧭 查询改写选择 / Query Routing 基准 ★ 深度解读
Toronto Metropolitan University · University of California, Berkeley · University of Waterloo · Mila - Quebec AI Institute · University of Toronto
冻结查询改写候选池与检索结果,系统评估改写选择器在跨检索器/领域下的上限与差距
📌 工作参考价值(4 点)
- 线上如果有多个查询改写/扩展策略(LLM prompt 变体、伪文档、关键词扩展),不要只按平均 A/B 选一个固定策略;应按 query 路由,且先离线构建候选池 + 各改写召回结果,复用 QueryRoute 的 action–outcome matrix 思路,把路由评估变成只读决策问题。
- LLM-as-judge 在 BM25 稀疏检索上最强,但在 BGE/SPLADE 等更强检索器下,没有任何学习型 selector 超过固定最优改写;说明稠密检索已经吃掉改写收益时,业务应优先投入检索器质量或相关性精排,而不是改写路由。
- 评估 selector 时,均值 nDCG 会掩盖 query 级路由行为;建议同时加 near-oracle rate、help/hurt rate、regret、selection entropy 等决策质量指标,否则两个均值接近的方法可能一个靠少数 query 拉高、另一个稳定性更好。
- 工程实现可参考:离线落 query 原词、候选改写、多 retriever 召回列表和 retrieval score;用 QPP/embedding similarity router 做低成本冷启动,LLM-as-judge 做高成本兜底,按 retriever 类型分别评估。