From Plausible to Actionable: A Position on LLM Self-Explanations
从合理性到可操作性：LLM自我解释的立场观点
🧭 LLM 自我解释的可信度与可操作性
University of Utrecht · National Police Lab AI, Netherlands Police · Scuola Normale Superiore · University of Pisa
区分自我解释的合理性、忠实度与可操作性，提出兼顾三者的评估框架
📌 工作参考价值（4 点）
- 在推荐/搜索场景中，用 LLM 生成推荐理由或查询解释时，不能仅满足于表面合理（plausible），需要额外设计忠实度（faithfulness）检测机制，例如核对解释中的关键事实是否与模型内部注意力或决策路径一致。
- 将解释的评估从「人对合理性的主观判断」拓展到「下游任务可操作性」：比如将解释作为 Agent 下一步动作的依据（如触发退款、调整排序），通过解释能否准确引导后续决策来反向验证。
- 工程实现上，可构建「解释-动作闭环」：记录解释中的关键声明，用规则或小模型自动校验其与系统实际决策逻辑的匹配度，对不一致的做标记或抑制。
- 对于电商搜索的查询推荐（QueryRec），LLM 给出的推荐理由（如「为您推荐‘蓝牙耳机’因为近期浏览过」）需确保忠实反映用户行为序列，避免生成虚构理由，可将用户日志与解释对比做线上校验。