On the Fragility of Self-Improving Agents: Variance, Task Order, and Underspecification
自改进智能体的脆弱性：方差、任务顺序与欠规约
🧭 自改进Agent 可靠性评估
Salesforce AI Research
重评估揭示内存型自改进Agent存在高方差、强任务顺序依赖及任务/环境欠规约导致的脆弱性
📌 工作参考价值（4 点）
- 评估自改进 Agent 或带记忆的 LLM 系统时，务必报告多次运行方差；观察到最佳与最差运行差距可达 10 个百分点，单次结果不可靠。
- 任务顺序会隐式形成课程学习，默认顺序可能掩盖真实性能；上线前应在随机打乱的任务流上做压力测试，否则提升可能来自顺序而不是模型能力。
- 内存条目若缺少任务/环境规约，容易生成看似合理但不适用的策略；可在记忆构造时注入详细 rubrics、环境反馈或约束条件，降低欠规约带来的误导。
- 即使加入额外规约信息，性能仍存在明显 gap，说明现有自改进循环内部有不稳定因素；业务场景中建议引入人工审核或护栏，防止 Agent 在不可预见场景下产生错误记忆并持续放大。