Evaluating and Improving Evidence-Grounded Fact-Checking in LLMs via Multi-Round Evidence Ablation
通过多轮证据消融评估与改进大语言模型事实核查的证据依据性
🧭 RAG 事实核查 · 证据依赖性评估与训练
University of Sheffield
提出 FAE 多轮证据消融评估与 REAL 反事实训练，揭示 LLM 更依赖参数知识并提升证据依赖性
📌 工作参考价值（4 点）
- 在商品/广告审核、评价真实性验证等 LLM-as-verifier 场景，可用 FAE 式多轮证据消融做上线前审计：逐条移除或替换 cited evidence，观察模型预测是否翻转，识别“参数记忆强于上下文”的风险。
- REAL 的反事实证据训练可直接迁移：不只使用完整证据+标签，也构造删除支撑证据、替换为不相关或相反证据的样本，强制模型在证据缺失时改变判断，增强系统对检索质量的敏感性。
- 把“证据依赖度”作为与准确率并行的评测指标，特别适用于广告合规、商品属性校验等高风险任务，避免高准确率但弱 grounding 的 LLM 上线。
- 若在用 LLM 生成推荐理由或搜索解释，可借鉴多轮 evidence ablation 验证解释是否真实来自用户历史/商品信息，而非模型通用说辞。