Code as Agent Harness
代码作为智能体基础设施:可执行、可验证、有状态的智能体系统综述
🧭 代码智能体基础设施与方法论综述
University of Illinois Urbana-Champaign · Meta · Stanford University
将代码重新定位为智能体推理、行动和环境建模的可执行媒介,并提出三层框架统一代码智能体设计
📌 工作参考价值
- 用代码作为推荐策略的可执行审计层:将推荐策略、规则或生成式推荐的推理步骤写成可执行代码(如 Python 脚本),通过执行反馈验证策略逻辑,实现可检查、可回滚的推荐决策,尤其适合电商场景需要业务可解释和合规审计的路径。
- 多智能体协作通过共享代码仓库协调:借鉴论文中 Manager/Planner/Coder/Reviewer/Tester 的角色分工,构建电商多智能体系统(如选品、定价、营销自动化的智能体团队),利用 Git 仓库和测试框架管理共享状态,实现冲突检测和集体验证。
- 动态工具生成与技能库复用:参考 Voyager 等系统的 lifelong skill library 思路,让推荐智能体在交互中自动生成并积累可复用的数据查询、特征工程或模型更新脚本,形成平台内的“技能市场”,降低重复开发成本。
- 执行反馈闭环提升可靠性:将推荐模型上线前的仿真评估或 AB 测试反馈接入代码执行循环,让智能体根据测试结果自动修正推荐逻辑或参数,实现自适应优化,减少人工介入。
动机
LLM 在代码生成上取得了显著进步,但在智能体系统中,代码的角色正从“生成目标”转变为“操作媒介”。智能体不仅生成代码,更用代码来推理、行动和建模环境。传统智能体缺乏可验证的执行接口,导致长程任务中状态容易丢失、反馈模糊、协作困难。本文提出“代码作为智能体基础设施”(Code as Agent Harness)的统一视角,将代码视为智能体系统的基础运行介质,提供可执行、可检查、有状态的交互闭环,从而提升智能体的可靠性和可审计性。
方法框架
综述按三层结构组织近 200 篇文献:
-
基础设施接口层:代码作为推理、行动和环境建模的接口。
- 推理:用可执行程序外化中间计算,结合解释器、符号求解器、执行轨迹进行验证与迭代(如 PoT、CodePRM)。
- 行动:将高层意图转化为机器操控策略、GUI 操作或工具调用,并通过技能库、程序化策略和终身学习实现持续演化(如 SayCan、CaP、Voyager)。
- 环境建模:用程序状态、仓库、模拟器和测试表示世界,提供可验证的状态转换和反馈(如 SWE-bench、Code2World)。
-
基础设施机制层:保障长序列执行的规划、记忆、工具使用、控制与优化。
- 规划:线性分解、结构引导、搜索与编排式规划方法。
- 记忆:工作记忆、语义记忆、经验记忆、长程记忆及上下文压缩技术。
- 工具使用:函数调用、环境交互、验证驱动及工作流编排四类工具集成模式。
- 控制与优化:通过“计划‑执行‑验证”循环、沙箱权限、确定性验证器等实现闭环修复与自适应改进。
-
扩展基础设施层:多智能体通过共享代码制品(仓库、测试、执行状态)协同工作,包含用户‑规划者‑编码者‑评审者‑测试者角色分工,以及集中式、分布式、串行、协作、对抗等多种拓扑。
应用与挑战
应用涵盖代码助手、GUI/OS 自动化、具身智能体、科学发现、个性化推荐等。当前开放问题包括:超越最终任务成功的评估方法、不完整反馈下的语义验证、无回归的自演进基础设施、跨智能体状态一致性、人机安全监管,以及多模态代码‑基础设施融合。综述为构建可执行、可验证、有状态的 AI 智能体系统提供了路线图。