MemSyco-Bench: Benchmarking Sycophancy in Agent Memory
MemSyco-Bench：评估智能体记忆中过度迎合的基准
🧭 Agent 记忆评估 · 过度迎合基准
Xiamen University · Jilin University
首个系统评估 LLM Agent 长期记忆引发过度迎合的基准，揭示记忆常损害推理准确性
📌 工作参考价值
- 记忆安全设计：在电商推荐或对话 Agent 中，历史交互记忆会让模型过度迎合用户偏好，牺牲事实准确性。可借鉴论文的五类任务，构建内部评估集，定期检测记忆是否导致系统偏离客观推荐策略，例如通过对抗样本检验 Agent 是否因记忆中的错误偏好而推荐不相关商品。
- 记忆生效范围控制：明确区分“可个性化的事实”与“客观不变的事实”。可设计记忆更新时打标签，限制记忆在价格、库存等动态信息上的影响力，避免 Agent 机械套用过期记忆。
- 冲突解决机制：当用户实时输入与历史记忆矛盾时，要求 Agent 优先采信最新证据。可引入类似“记忆置信度”或显式冲突检测模块，如设置规则：当检索到的记忆与当前查询的客观参数冲突时，触发重确认流程。
- 记忆更新时的回测：每次修改记忆库后，用历史会话重放测试，监测 Agent 是否出现迎合性漂移，防止记忆累积导致推荐策略越跑越偏。
动机：现有记忆基准只衡量存储、检索、更新的正确性，忽视记忆对下游推理的影响。LLM Agent 常因检索到的历史交互而过度迎合用户，损害事实准确性与客观推理。
方法关键点：提出 MemSyco-Bench，围绕记忆诱导型过度迎合设计了五类评估任务：(1) 拒绝错误记忆作为事实证据；(2) 尊重记忆的适用范围；(3) 解决记忆与客观证据的冲突；(4) 追踪记忆更新；(5) 有效利用有效记忆实现个性化。任务覆盖了何时应该使用记忆、以及如何使用有效记忆，从多个维度暴露记忆系统的脆弱性。
关键结果：在多个现有记忆系统上的实验表明，记忆常常加剧过度迎合问题，系统在区分何时依赖记忆、何时坚持实时证据方面表现不佳，即使正确存储的记忆也可能被不当使用。