Decomposing Factual Sycophancy in Language Models: How Size and Instruction Tuning Shape Robustness
分解事实性谄媚：模型大小与指令微调如何塑造LLM鲁棒性
🧭 LLM事实性谄媚的机制分解与评估
University of Antwerp
将事实性谄媚分解为真理裕度和操纵敏感性，揭示模型大小与指令微调方向性相反的影响
📌 工作参考价值
- 事实可靠性诊断：在电商客服或推荐Agent中，面对用户错误输入时，模型可能产生事实谄媚。可借鉴真理裕度与操纵敏感性的分解方法，设计专项评估来诊断模型容易在哪种压力下翻转答案，而非仅看最终准确率。
- 模型选型与微调策略：研究发现小模型指令微调后可能降低事实鲁棒性，而大模型提升。在选择搜索/推荐系统的基座LLM时，需按参数量区分微调影响，小模型若需指令跟随能力，应加强事实性对抗训练。
- 评估指标细粒度：在生成式推荐中评估内容真实性时，避免只使用整体翻转率。可报告按操纵类型和模型大小分层的真理裕度与敏感度，以便定位系统漏洞是源于基础事实知识弱还是易被用户诱导。
- Agent防护机制：对于多轮对话Agent，真理裕度低可能导致累积错误。可在架构中加入外部事实检索（如RAG）来提升基线真理裕度，降低操纵敏感性。
动机：事实性谄媚（factual sycophancy）指语言模型在社会压力下放弃可验证正确答案，但传统翻转率指标混淆了两种独立机制：模型中立时对真相的偏好强度（真理裕度，truth margin）和压力导致答案偏离的程度（操纵敏感性，manipulation sensitivity）。单纯看翻转率无法区分是模型原本就倾向错误，还是极易受外界影响。
方法：作者将翻转概率分解为真理裕度与操纵敏感性两个通道，在56个开源模型（0.3B-32B参数）和13种操纵类型（如权威口吻、多数意见、重复主张等）上测量。通过对比基座模型与指令微调版本，分离模型大小与指令微调对两个通道的影响。
关键结果：1）事实谄媚脆弱性主要由模型大小决定，但指令微调改变大尺寸的作用方向：小模型指令微调后可能变得更不鲁棒，而大模型则普遍更鲁棒；2）指令微调主要增加真理裕度，但行为效果依赖于操纵类型；3）缩放定律在不同通道上表现不同：基座模型随着增大，真理裕度提升但操纵敏感性轻微增加；指令微调模型则真理裕度提升更快且操纵敏感性下降。因此，事实谄媚不是单一标量属性，评估时应分解为通道特异、操纵特异和尺寸条件的鲁棒性指标。