Return or Revise? Learning When Revision Helps Retrieval-Augmented QA
返回还是修订？学习何时修订能改善检索增强问答
🧭 RAG 答案修订决策
DCS Corp · Air Force Research Laboratory
提出 recoverability 配对效果并训练 scorer，决定 RAG 中是否修订草稿答案，在 9 组设置中优于草稿置信度 scorer
📌 工作参考价值（4 点）
- 在 Agent/RAG 工作流中，不要默认「检索后一定修订」。可离线构造配对数据：用同一 judge 给草稿和修订后的答案打分，训练 recoverability scorer 来决定是否执行修订，避免过度修订带来的时延和成本。
- 评价修订策略时，除了 accuracy，使用 accuracy–revision-rate 曲线和 oracle gap 指标；这能区分「修订有价值」和「修订只是增加调用次数」。
- 如果系统已经有标准 RAG 答案，优先把决策建模成「草稿 vs RAG 答案」的二选一，而不是为复杂的三选一引入候选修订；实验表明增加第三个选项无显著收益，工程实现更简单。
- 对电商客服问答、商品问答等场景，可用业务评判器标注「修订后是否解决、是否引入错误」，训练一个轻量 scorer 控制检索修订的触发，减少不必要的检索和生成开销。