Quantum-Inspired Pairwise Ranking Aggregation via Active LLM Feedback
量子启发式成对排序聚合与主动 LLM 反馈用于文档重排
🧭 量子启发式排序聚合 · LLM 主动反馈 ★ 深度解读
University of Arkansas, Fayetteville · Walmart Inc. Applied AI
只用高分歧文档对的少量 LLM 判断学习多路检索融合权重，以约 30 次调用逼近 SOTA 零样本 LLM 重排效果
📌 工作参考价值（4 点）
- 如果线上已有多路检索/召回（BM25、dense、SPLADE）需要融合，可借鉴「只让 LLM 判高分歧 top-r 文档对」的主动采样：每 query 约 5–30 次 LLM call 即可超过最强无监督融合，成本远低于 listwise/pairwise 全量重排，适合低延迟搜索与 RAG 候选重排。
- 权重更新公式可直接复用：用 LLM 的 A/B 判断和 logit gap 做置信度过滤，保留高于 τ 的判断；权重 ∝ softmax(β * mean(2*P(winner|ranker)-1))。累积历史 refit 比 momentum 更稳定更强，推荐 β=3、τ=2.5，无需训练数据或微调。
- 最终只做线性分数融合，工程上极轻量，可缓存各 ranker 分数与融合权重，毫秒级重排；若原始 BM25 分数缺失，可用 rank-based proxy 替代。
- 注意当前二选一判断无法处理“两个文档都不相关”的场景，可能引入噪声；低置信度过滤只能缓解，业务可考虑增加“都不相关”选项或校准置信阈值。