ACC: Compiling Agent Trajectories for Long-Context Training
ACC:面向长上下文训练的Agent轨迹编译
🧭 长上下文训练 · Agent轨迹编译 ★ 深度解读
University of Science and Technology of China · Shanghai Innovation Institute · Shanghai AI Laboratory
将多轮agent轨迹编译为长上下文QA对,无需额外标注,在长程依赖建模上媲美8倍参数模型
📌 工作参考价值(4 点)
- 直接复用业务中已有的agent交互日志(如电商智能客服多轮对话、数据库查询、代码调试等),将其组装为长上下文训练数据,无需额外标注,低成本提升模型多跳推理和信息整合能力。
- 在生成式推荐或搜索中,可将用户与推荐系统的多轮交互(查询、候选列表、点击/购买行为等)编译为长上下文,让模型直接基于长历史序列生成最终推荐,替代逐步候选筛选流程。
- 训练时加入不相关的干扰项(如未点击的商品、未使用的搜索结果)并随机打乱顺序,能增强模型在长上下文中定位关键信息的能力,可迁移至电商场景下处理杂乱的浏览历史。
- 完全基于标准SFT,无需复杂强化学习,工程实现简单,适合快速实验和部署。