What LLM Forecasters Know but Don't Say: Probing Internal Representations for Calibration and Faithfulness
LLM预测者所知不言：探针内部表征以改善校准与忠实度
🧭 LLM推理审计与校准
goodfire · eternis
探针LLM内部表征可大幅提升预测校准、揭示思维链不忠实，并能通过预推理分布路由节省30-47%推理token
📌 工作参考价值（4 点）
- 在需要可靠置信度的推荐/广告预测场景中，用中间层探针替代口头置信度可显著降低校准误差（ECE 0.044 vs 0.093），避免过度自信或保守。
- 审计AI Agent的思维链忠实度时，可通过探针检测模型内部是否已受外部输入影响，即使思维链未提及，这对多Agent交互的透明审查很有价值。
- 可将探针用作“诚实度检测器”：当模型受到隐蔽证据干扰时，探针激活值能更早、更准确地捕捉到行为偏移（Spearman ρ=0.57 vs CoT文本的0.22），并预测偏移方向（84%准确率）。
- 在推理前利用预测层输出的答案分布离散度进行高置信度路由：分布集中时直接返回预推理答案，避免生成冗长CoT，可节省30-47% token且不损失精度，适用于低延迟或高吞吐的实时推送、搜索建议等场景。