SWE-Trail: History-Guided Trajectory Collection for Coding Agent Training
SWE-Trail:历史引导的编程 Agent 轨迹采集
🧭 Agent 轨迹采集 · 历史引导分配 ★ 深度解读
University of Connecticut · Ant Group
用历史轨迹引导采集资源分配但不进入 agent 上下文,训练收益提升 2.33/1.60 pp
📌 工作参考价值(4 点)
- 可直接迁移到电商/导购/搜索 Agent 的轨迹采集:为每个 task 维护 prior trajectories bank,但不要把这些历史塞进 agent context;用历史作为 collector 侧信号,让 agent 从普通上下文生成动作,避免模型在测试时依赖不存在的外部 advice。
- 做分支对比采样:在历史检测到的关键状态,从同一 checkpoint 并行短执行两个候选动作,用环境反馈/奖励/测试信号选择路线;保留 agent 原始 reasoning/actions,删除未选分支和 collector 私有事件,保证训练轨迹为连续且无外部信息的单条 rollout。
- 优先在 mixed histories 上投入采集:成功/失败都有的任务最值得多做分支比较,stable-solved 和 never-solved 收益有限;历史规模 5 条 prior attempts 已接近饱和,继续加到 10 条 token 成本增加 66% 但收益很小。
- 评估数据采集方案时,值得做 H0 和随机化消融:H0 控制采集管线本身,random detection/random retention 分别检验“在哪里比较”和“保留哪条路线”,能避免把 resolved 轨迹数量误当成下游训练价值。