Connect the Dots: Training LLMs for Long-Lifecycle Agents with Cross-Domain Generalization Via Reinforcement Learning
“连接点”：用RL训练长生命周期Agent的跨域泛化
🧭 Agent 长生命周期元能力训练 ★ 深度解读
Alibaba Group
提出 CoD 框架，用端到端 RL 训练 LLM 在长序列任务中自我更新上下文，实现跨域泛化
📌 工作参考价值（4 点）
- 长周期交互的Agent训练范式：推荐/广告场景中的对话式Agent需在多个会话中持续积累用户偏好，可借鉴 CoD 的「解决任务 + 更新上下文」交错部署模式，训练模型主动维护并利用对用户或环境的记忆。
- 信用分配技巧：采用动态规划思想，将每集回报定义为当前及未来任务奖励的均值，并以同位置轨迹均值作为基线计算优势，可迁移到多步推荐优化中，缓解长序列信用稀疏问题。
- 探索激励环境设计：通过隐藏关键信息（如动作映射）制造信息瓶颈，迫使模型主动探索，可用于构造模拟用户意图欠明确场景的训练集，提升 Agent 的主动信息获取能力。
- 合成环境到真实业务的迁移：实验显示在简单游戏环境中训练的元能力能泛化到终端仿真任务，业务中可尝试在低成本合成环境训练长生命周期能力，再迁移到真实业务 Agent。