The Fusion Tax: A Diagnostic Analysis of When Hybrid Retrieval Hurts
混合检索的融合税：稀疏-稠密融合何时有害的诊断分析
🧭 混合检索 · sparse-dense 融合诊断
Independent Researcher, Bothell, WA, USA · Independent Researcher, Issaquah, WA, USA
系统量化 BM25+密集检索融合在单查询上的损失，发现即便平均提升，13-48%查询反受损
📌 工作参考价值
- 不要默认 RRF：若目标 domain 的 dense 检索明显强于 BM25，用 dense-heavy score interpolation（α=0.6-0.7）比 RRF 更稳；RRF 只在两路强度接近时更合适。
- 上线前做 per-query fusion 损益审计：统计比单独 dense 差的 query 占比（该论文 8-21%），尤其对风险敏感的商品搜索/广告召回；不要只看平均 nDCG。
- 不要依赖便宜 query 特征做跨 domain 路由：同一特征在不同 sparse-dense 平衡下方向会翻转，跨 dataset AUC 仅 0.59，路由收益不可靠；可考虑更重的 LLM judge 或在线评估。
- 排序第二级 reranker 不一定能修复第一级融合损失：先在目标域确认 reranker 可靠性；若 reranker 可靠，约 71-90% 原受损 query 被修复但会引入新 hurt query，需持续监控。
动机
Hybrid retrieval（BM25+密集检索）被主流 RAG/搜索栈默认推荐，RRF 是常见默认融合。但聚合增益可能掩盖单查询损失。本文把“不融合”作为一等选项，量化融合相对更好组件的损失（fusion tax），并在现代部署配置下测量。
方法关键点
- 7 个 BEIR 数据集；BM25 Anserini 与 5 个 dense encoder（22M-596M，含 BGE-small/base/large、MiniLM、Qwen3-Embedding）；SPLADE 替换 sparse 侧；交叉编码器 reranker 二阶段。
- 融合函数：RRF(k=60)、dense-weighted score interpolation（α=0.7，min-max 归一化）、CombMNZ。
- 定义 oracle tax τ=max(NDCG_s, NDCG_d)-NDCG_f；deployable tax 相对 always-dense；四象限诊断（Both-Win/Dense-Only/Sparse-Only/Both-Fail）；风险敏感 TRisk；17 个 query 特征预测失败。
关键结果
- 最佳 interpolation 在所有 corpus 聚合超过 dense-only，但 oracle tax 13-48%（BGE-small），deployable tax 8-21%；损失在 6/7 corpus 上风险显著。
- 损失集中于 off-diagonal：Sparse-Only 87-95% 被 dense-heavy 融合伤害；但 Both-Win 占多数损失。
- 更大/更新 encoder 不消除 tax：BGE-large 仍有 17-40% hurt，Qwen3 0.6B 14-43%；SPLADE 替换 BM25 后 interpolation tax 仍在 14-41%，RRF 对 lexical 质量更敏感。
- RRF 在 dense 明显强于 sparse 时税收更高，仅在两路平衡时优于 dense-only。
- 失败预测跨 corpus 不可迁移：in-domain AUC 0.63，cross-corpus 0.59，关键特征方向随稀疏-稠密平衡翻转。
- Reranker 只部分修复：在自身可靠的 3 个 corpus 上，deployable tax 比例下降至多三分之一，但主要重新洗牌 hurt query。
最值得记住的一句话
融合决策应基于目标 corpus 实测的 sparse-dense 平衡，而非默认 RRF；平均增益不等于单查询安全，更强的 dense 模型不会自动消税。