Self-Supervised Scaling of Terminal Environments for Scientific Domains
面向科学领域的终端环境自监督扩展
🧭 终端Agent环境自动化与SFT缩放
Tencent HY LLM Frontier · University of Georgia · University of Maryland, College Park · National University of Singapore · Hong Kong Polytechnic University
用现有科学软件工作流自动生成可验证的终端Agent训练样本，SFT后显著提升Terminal-Bench 2
📌 工作参考价值（4 点）
- 可用现有业务软件/API工作流自动生成(SFT)训练样本：给定输入schema和公开输入输出对，让LLM重构可编辑程序，再用隐藏配置验证，避免逐任务人工标注reference solution，适合电商/广告中的工具调用、查询生成等Agent任务。
- 层次化verifier思路可迁移：把语义比较、结构有效性、反捷径检查组合起来，防止模型学出表面匹配但语义错误的生成结果，对QueryRec和生成式推荐中的评估尤其重要。
- 已验证的高质量轨迹比单纯语料规模更有效：对verified trajectories做oversampling后SFT，在matched-token对照中全面领先，说明业务数据应优先筛选行为可验证样本，而不是直接堆量。
- 公共反馈支持迭代修订的机制可以改造成在线训练：先让Agent在公开样例上尝试，失败后根据反馈修改，最后在隐藏集上验证，类似强化学习中的self-play数据生产。