Not Until the Evidence Says So: Teaching LLM Investigators When to Close a Case
直到证据确凿才结案：训练 LLM 调查员何时结案
🧭 LLM 推理闭环与不确定性判断
Peking University
构建 Nautil 事故调查数据集与三阶段结案评估，显著降低 LLM 过度自信并提升证据依赖结案准确率
📌 工作参考价值（4 点）
- 在客服、工单诊断、风控等需要“证据不足不下结论”的场景，可借鉴「证据依赖测试」：人工删除关键证据，要求模型必须停止闭环或明确缺失项，避免模型仅靠少量线索强行给出推荐/诊断。
- 用「仅来源规则」作为 baseline：在构建推荐或诊断数据集时，先检查 label 是否被来源/品类等浅层特征泄漏，若规则 baseline 已很高，需按来源分层评估，防止虚假高准确率。
- SFT 阶段用 teacher trajectories 显式教导模型输出“缺失信息”而不只给结论，可有效降低 LLM 过度自信，适合迁移到对话式推荐/Agent 的“不知道就反问”设计。
- RLVR 只奖励闭环决策可大幅提升准确率，但会牺牲对证据变化的敏感性；实际部署时建议将 evidence dependence 作为关键 offline 指标，避免模型“学会猜标签”而非真正依赖证据。