Does a model's stated reason for rejecting a candidate do any work?
模型给出的拒绝理由是否真的影响决策？
🧭 LLM 可解释性 · 反事实检验
Independent Researcher
通过插入缺失事实的反事实检验，发现模型拒绝理由对选择有显著影响，但混杂因素使效应难以确立
📌 工作参考价值（4 点）
- 在推荐/排序解释中，模型给出的“缺失属性”理由可通过反事实编辑验证：将该属性补回候选物品，重跑模型看决策是否翻转，用于评估生成解释是否忠实于决策。
- 构建对照时需分离内容与位置效应：同时加入长度匹配的无关句子作为对照，以及把同一事实加到其他选项，避免把注意力/格式变化误判为文本内容效应。
- 若用 LLM 自由文本输出做选择或排序，务必对字符串解析规则进行验证：本文解析规则错误率高达 17.1%，纠正后结论数量从 6 减为 4；应留存原始响应并人工抽检。
- 强制概率读数和自由文本选择可能方向相反，提示解码策略与度量方式影响归因结论；业务中应报告多种度量并谨慎解释。