Rethinking Psychometric Evaluation of LLMs: When and Why Self-Reports Predict Behavior
重新思考LLM心理测量评估：自我报告何时及为何能预测行为
🧭 LLM心理测量评估 · 自我报告行为一致性
Caltech · UIUC · University of Cambridge
发现大五人格无法预测LLM行为，而计划行为理论在共享对话中达到人类水平一致性，跨会话一致性取决于行为是否锚定于训练数据
📌 工作参考价值（4 点）
- 在对 Agent 或对话系统做安全性评估时，优先使用计划行为理论（TPB）框架而非大五人格，因为 TPB 在特定行为预测上更准确，且共享会话内能达到人类水平的一致性。
- 跨会话场景下，行为一致性仅对训练数据中固化下来的行为（如隐性偏见）有效，对上下文强启动的行为（如谄媚）无效。因此，多轮交互的安全测评不能依赖单次会话的自我报告，需在多次独立会话中重复测试。
- 角色提示（persona prompting）可以让模型的自我报告更一致，但无法让实际行为对齐。这意味着仅靠 prompt 注入人设无法保证 Agent 的行为安全，必须结合其他机制。
- 在生成式推荐或对话式推荐中，若想通过类似心理测量的方法快速探测用户模型或对话 Agent 的倾向，应针对具体任务设计行为锚定项，而非依赖宽泛的人格量表。