LEGO-RL: Harness-Native Reinforcement Learning for Coding Agents
LEGO-RL：原生编码 Agent 强化学习训练框架
🧭 Coding Agent RL · 原生 harness 训练框架 ★ 深度解读
Huawei Technologies Co., Ltd · The Chinese University of Hong Kong
桥接原生编码 agent harness 与策略梯度优化，在不改控制流下实现可信 RL 训练并显著提升 SWE-bench 解决率
📌 工作参考价值（4 点）
- Agent 化推荐/搜索场景可复用 in-process proxy：在业务 Agent（如导购、客服选品）中，用模型 API 边界代理记录 token ID、log-prob、response mask 和 MoE 路由，训练侧重放，避免 harness 上下文压缩/重写造成轨迹失真；对于 sparse MoE 模型尤其重要，路由重放可将 rollout-train 概率相关性从 0.9946 提到 0.9993。
- 异步 rollout + 终止状态过滤：长 horizon Agent 任务时长差异大，按基础设施失败/超时/有效但不完整分类轨迹，无效轨迹排除出组相对优势估计，防止执行故障污染梯度；组内方差不足的任务需难度筛选，否则零方差组无学习信号。
- 奖励完整性防御可迁移到任何带执行反馈的推荐 Agent：限制网络、隐藏评测信息、依赖打包、隐藏仓库历史，防止 Agent 通过外部状态作弊，保证奖励真实反映任务完成。
- 可观测性设计值得借鉴：失败原因分布、轨迹查看器、一致性面板，在训练崩溃时快速区分策略退化与执行/集成故障，支持早停与人工诊断，减少无效实验成本。