The Regression Tax: Decomposing Why Skills Help and Hurt LLM Agents
LLM Agent 的技能添加为何同时也是一种“回归税”
🧭 Agent 技能评估与回归机制分析 ★ 深度解读
Sentient Labs
添加技能库带来的回归抵消了 59% 的增益;三种回归机制以 grounding displacement 为主,且技能描述即使不被调用也可通过上下文渗透改变行为
📌 工作参考价值(4 点)
- 评估技能库时必须分解增益与回归:不要只看净通过率,应同时报告新解决的任务数和被破坏的任务数。两个净效果相同的技能库,回归少的那个更可靠。
- 警惕技能描述的“渗透”效应:即使某个技能从未被调用,仅因其描述常驻系统提示(system prompt),也会改变 agent 的行为,导致原本正确的任务失败。评估时应额外增加“仅描述存在”的对照条件,以隔离该影响。
- 强化 grounding 与 verification 环节,而非仅优化过程方法:回归和残余失败主要出现在输入解读(grounding)和输出检查(verification)阶段,而现有技能库过度关注方法步骤。在编写技能时,应增加具体的查表读表指引、定义澄清和可执行输出校验,而不是只给通用流程。
- 利用配对轨迹对比定位问题:将同一任务在有/无技能下的执行轨迹进行对比,可以清晰区分失败发生在哪个阶段(读错输入 vs. 算对但校验缺失),从而更有针对性地修复技能而非盲目删除整个技能库。