WorkRover: Scaling Long-Horizon Cowork Agent Training Via Recursive Environment Evolution
WorkRover:通过递归环境演化训练长程 Cowork Agent
🧭 长程 Agent 环境演化与信用分配训练 ★ 深度解读
Fudan University · East China Normal University · Renmin University of China · Shanghai Qiji Zhifeng Co., Ltd. · Shanghai Innovation Institute
提出 WorkRover 框架,用递归环境演化与 Verifier 进度信用分配提升长程 cowork agent 训练,多个基准大幅超过基座
📌 工作参考价值(4 点)
- 环境构建可借鉴 Harness 思路:在电商 Agent 任务平台里,把“上下文 / 任务 / 校验器”作为同一版本包管理,校验器必须绑定证据并接收 valid alternatives;这样能减少“任务生成与评测脱节”导致的错误奖励。
- FCR 的最小修复 + 组合回放适用于线上工作流配置变更:对 query 改写、推荐策略或工具配置做修改时,冻结原 intention / eval 规则,枚举少量组件修复组合,用固定种子回归验证,选最小可验证变更而非全量重生成,降低误伤。
- VTCA 的 turn 级信用分配可直接迁移到长链路搜索 / 推荐 Agent:用确定性 workspace / 结果检查器计算每步可观测进度,不做中间 LLM Judge;通过工具输出或产物版本依赖决定哪些前置查询 / 读取步骤分享奖励,能缓解多跳检索、对比决策中的 sparse reward。
- 训练数据 pipeline:SFT 用大模型生成轨迹 + 验证,RL 前先对 task-verifier 做一致性筛选,再保留少数高质量对,适合在电商业内部署低成本后训练。