Learning to Coach for Experiential Learning
Learning to Coach：训练 LLM 教练从轨迹中提取可操作经验
🧭 LLM 教练 · 经验学习与多智能体协作 ★ 深度解读
Microsoft Research · Tsinghua University
训练一个 LLM-as-a-Coach 用 GRPO 从冻结 actor 的轨迹中提取经验，以引导正确性为奖励，显著提升推理与交互游戏表现
📌 工作参考价值（4 点）
- 分离 actor 与 coach，避免主模型微调：在电商推荐/搜索 Agent 中，可保持主策略或大模型冻结，训练一个轻量 coach 从用户会话、行为轨迹、失败案例中提取可操作经验（如用户偏好摘要、失败原因、下一步策略），作为上下文注入主模型，既保留主模型通用能力，又降低全量微调成本。
- 用下游可验证指标直接训练 coach：将点击、转化、任务完成等可验证业务指标作为 reward，通过 GRPO 训练 coach 生成对特定 actor 更有用的经验。same-instance reward 用于纠错和保留问题细节，cross-instance reward 鼓励提取跨用户/跨品类/跨场景的通用规则，可借鉴到跨域推荐或策略迁移。
- 迭代式经验更新，算力用在刀刃上：让 coach 在多轮交互中不断更新并缩短经验笔记，逐步收敛到更精炼的指导信息，降低后续推理成本。论文证明将额外算力花在迭代 coach 引导上比单纯扩大 actor 解码预算更有效，这对于生成式推荐或 Agent 多步决策的推理优化有直接参考价值。
- OOD 迁移潜力：在可验证任务上训练的 coach 可迁移到较难推理、交互游戏、指令跟随等未见任务，说明这种“经验提取”能力具有一定通用性，可用于跨任务的知识蒸馏与复用。