ProvenAI: Provenance-Native Traces of Evidence in Generated Answers
ProvenAI：生成答案中证据的来源原生追踪
🧭 RAG归因 · 多跳问答透明度
University of Arizona
提出三层透明度框架，独立测量答案正确性、引用忠实度与文档影响力，揭示引用-影响差距
📌 工作参考价值（4 点）
- 推荐解释的可信度评估：借鉴 leave-one-resource-out 消融方法，量化推荐理由（如商品评论、属性）对最终推荐的实际影响，避免“引用了但没起作用”的虚假解释。
- Agent 多步推理审计：在多步搜索或决策 Agent 中，对每步检索结果进行消融，度量每条知识对最终动作的因果贡献，构建真正可追溯的决策链。
- 引用忠实度作为线上指标：设计答案与引用内容的一致性得分，作为 RAG 系统生成质量的持续监控指标，及时捕捉生成幻觉或引用虚标。
- 多层透明度框架迁移：将透明度拆分为结果质量、解释正确性和信息实际影响力三个独立维度，分别测量，可用于电商搜索排序的解释面板或 Agent 调试工具。