MLExpert: Towards a Generalist Agentic Model for Autonomous Machine Learning Engineering
MLExpert：面向自主机器学习工程的通用智能体模型
🧭 Agent 后训练 · 长程 MLE 优化 ★ 深度解读
East China Normal University · Shanghai Artificial Intelligence Laboratory
用层级SFT与执行窗口交互强化学习训练35B MoE，将MLE奖牌率从37.9%提至72.7%
📌 工作参考价值（4 点）
- 执行窗口共享奖励：面向需要多轮执行反馈的推荐/搜索 Agent（如自动调参、A/B 实验优化、query 改写迭代），把相邻两次实验结果之间的多步决策作为一个 execution window，共用结果奖励，避免稀疏轨迹奖励导致的学习困难；局部性能趋势项可鼓励持续改进而非只追求终局最优。
- 异步收集 + token 级策略修正：在线 RL 中 rollout 策略与当前训练策略不一致是常态，WIRL 的 token-level policy correction（用记录 log-prob 计算比值并截断）可直接迁移到电商/搜索 Agent 的在线训练，降低等待开销。
- Outcome-guided 监督选择：从长轨迹中提取“首次最优提交”之前的有效探索与失败恢复，截断峰值后退化尾段，能显著提升长程 agent 训练数据质量；可借鉴到推荐系统策略迭代数据清洗。
- 交互 harness 设计：维护 experiment tree、candidate 提交、invalidate_node 防止过拟合/数据泄漏，可作为多版本推荐策略管理或自动实验平台的工程蓝本。