#Co-evolution

3 篇

Co-Evolving Harnesses and Models: On-Policy Correction Helps Weaker Models Catch Up Where Imitation Fails

协同演化 Harness 与模型：On-Policy 纠错在模仿失效处帮助弱模型追赶

🧭 Agent harness 与模型权重协同优化 ★ 深度解读

Salesforce AI

在已演化的 Agent harness 下，全轨迹模仿专家会破坏弱模型的 harness 适配，而基于学生自身 rollout 的 on-policy 局部纠错可无损叠加模型增益

📌 工作参考价值（4 点）

在已有优化 prompt/tool/hook 的 Agent 系统上做 LoRA 微调时，避免直接用专家全轨迹 SFT；应保留学生自身 rollout 的规划风格，只对失败 turn 做局部纠正，否则会破坏 harness 与模型的适配，导致全面退化（文中 -14.9 点）。
可以借鉴 on-policy expert correction 管道：用 meta-level agent 定位失败 turn，让专家只重写该 turn，保持前后步骤不变；训练数据仅约 500 条，微调不到 1 小时，适合迭代式 co-evolution。
若业务中需要小模型+定制 harness 降本，先演化 harness 再考虑模型更新时，先检查失败分布中的 planning 与 knowledge 变化；直接模仿专家会引入 planning 漂移，而 on-policy 纠正只提高知识覆盖、不增加规划失败。
该结论也适用于其他形式的 scaffold（如推荐系统的 prompt、RAG 的 system prompt 或工具调用约束）：如果 scaffold 已围绕模型行为调优，后续权重更新需以 on-policy 数据为主，避免分布偏移。

Agent | 2026-09-08 | cs.AI | score 8/10

Echoverse：面向计算机使用智能体的深度演化训练环境

🧭 合成环境生成与协同演化训练 Agent

Microsoft Research

通过协同演化循环构建有深度、可自适应修复的合成环境，显著提升计算机使用智能体的性能与迁移能力

📌 工作参考价值（4 点）

可借鉴协同演化循环，为电商搜索推荐 Agent 构建有深度的模拟环境（如带状态变化的用户会话），通过 rollout 反馈动态修复任务和验证逻辑，增强 Agent 对复杂交互的适应力。
利用数据库确认验证器（grounded verifier）设计推荐系统的离线评估环境，确保奖励与系统状态强一致，减少奖励黑客问题。
在用户模拟器迭代中引入环境修复机制，根据真实失败案例自动生成针对性训练任务，提升模拟器的覆盖率和真实性。
强化学习训练时，采用稀疏任务完成奖励与密集步骤奖励结合的混合 reward 设计，加速策略收敛并提高最终效果。

Training | 2026-07-29 | HF Daily | score 7/10

SPyCE：多模态智能体的技能-策略协同进化框架

🧭 多模态Agent · 技能-策略协同进化

Zhejiang University · Beijing University of Posts and Telecommunications

将多模态推理轨迹蒸馏为层级技能库，与策略在强化学习中协同进化，形成自我改进闭环

📌 工作参考价值（4 点）

构建层次化技能库：执行技能（局部视觉操作）和工作流技能（高层工具编排），可直接复用于电商多模态Agent设计，将商品图片分析、多步工具调用沉淀为可复用模块。
技能与策略闭环进化：在线RL中，用策略生成的高分轨迹持续更新技能库，再用检索到的技能引导策略探索，可实现Agent自我改进，适合需要长期运行的搜索推荐辅助Agent。
检索增强的策略条件：将历史成功技能作为先验注入策略模型，可大幅提高样本效率，尤其适用于多步交互场景（如智能客服、视觉比货），避免从零开始探索工具使用模式。
视觉操作封装：把图像裁剪、对比、OCR等原子操作抽象为执行技能，可构建可组合的视觉推理流水线，降低MLLM直接操作像素的复杂度。

Agent | 2026-07-15 | cs.CL | score 7/10