From Model Scaling to System Scaling: Scaling the Harness in Agentic AI
从模型缩放转向系统缩放：Agent 系统的框架工程
🧭 Agent 系统架构设计 · 从模型扩展到系统扩展
UC Berkeley
将 Agent 性能瓶颈从单一模型能力提升为包含记忆、上下文、技能路由与治理的全系统设计问题。
📌 工作参考价值
- 将记忆从“存储”重新设计为“信任”问题：在电商客服或推荐 Agent 中，对用户偏好、订单状态的记忆需增加时效性、验证性与置信度字段，检索时纳入衰减惩罚，避免过时信息导致错误推荐或承诺。
- 分离式上下文治理：构建上下文构造器，按任务动态组合最小必要信息（持久项目知识 + 实时检索），替代全量拼接历史；可类比推荐系统中只喂入当前会话必要特征与实时用户行为，降低噪声。
- 技能路由与后置校验：为工具和子 Agent 定义显式的后置条件检查，路由策略从固定规则转向在线学习（如基于置信度升级），防止未经验证的输出被直接采纳；这在多 Agent 协作的订单处理、库存查询中可显著减少错误扩散。
- 将评测从终点成功率拓展到过程与长期维度：建立包含轨迹质量、记忆卫生、上下文效率、通信保真度等维度的内部评测集，用于持续监控 Agent 系统退化，而不仅看单次任务完成率，适合推荐系统 A/B 测试中的长期收益与风险衡量。
动机
当前 Agent 性能的瓶颈正从模型能力（model scaling）转向系统设计（system scaling）。即使基础模型足够强大，长周期任务中表现仍受限于记忆质量、上下文构造、工具与子 Agent 路由、动作校验等外围系统的可靠性。论文主张将 Agent 的 harness（模型外围的执行层，包括上下文构造器、记忆、技能路由、编排与验证治理）作为一等研究对象，而不仅仅把性能归因于模型提示。
方法关键点
- 提出系统缩放框架：Agent 性能 (P_H = \Phi(R,M,C,S,O,G))，其中 R 为基础推理质量，M 为记忆，C 为上下文构造，S 为技能路由，O 为编排，G 为验证与治理。模型缩放主要提升 R，系统缩放提升其余五者。
- 识别三大系统瓶颈：1) 上下文治理——核心不是上下文容量，而是按相关性、紧凑性、可追溯性和刷新策略选择最小充分上下文；2) 可信记忆——记忆失败模式是“过期却自信”，需在检索时引入时效性惩罚和置信度门控，并与环境重新验证；3) 动态技能路由与校验——关键不是拥有技能，而是路由准确性和每一步的后置条件检查。
- 提出提示（短时控制）、技能（可复用模式）、记忆（持久化知识）三个时间尺度的系统杠杆，并阐述它们互补而非互相替代。
- 给出评估议程：主张从结果指标转向过程指标（轨迹质量、记忆卫生、验证成本等），从单次评测转向长期评测（跨会话的记忆退化、协作保真度等），并定义安全演化的四个维度：什么应持久、什么可更新、衡量什么、可审计什么。
关键结果
论文为观点型框架文章，未附具体实验数据。其核心论证通过分析现有系统（Claude Code、OpenClaw、自研参考框架 CheetahClaws）的比较来展示：三者虽都围绕上下文治理、记忆管理和技能路由设计，但因部署优先级不同而导致不同的权衡。由此说明 harness 设计选择对 Agent 行为的影响不亚于基础模型。文中引用已有研究显示，仅重新设计工具 schema 就能在固定模型下大幅提升 SWE-bench 准确率，多 Agent 系统中 token 分配可解释 80% 以上的性能方差，佐证系统缩放的重要性。
最值得记住的一句话
“健壮的 Agent 不仅仅是经过良好提示的模型，而是被良好提示、适当技能化并选择性扎根于持久记忆的系统。”