自回溯蒸馏：把事后经验转为事前前瞻
🧭 RLVR 辅助损失 · 事后到事前蒸馏 ★ 深度解读
Salesforce AI Research · UC San Diego · Texas A&M University · Stanford University
用事后交互轨迹蒸馏出交互前可预测的知识/失败模式，让每条 rollout 均贡献监督，最高提升 24.2 pp
📌 工作参考价值（4 点）
- 在强化学习训练电商导购/搜索 Agent 时，不要只依赖 scalar reward：把每个会话/交互轨迹的事后信息（成功所需知识、失败原因）作为监督，训练模型在交互前输出前瞻性描述。成功轨迹预测用户可能关心的知识点，失败轨迹预测易错点/陷阱；该输出仅作训练目标，推理时不生成，不增加线上成本。
- 对奖励稀疏或组内 reward 一致的场景（大量会话无转化、点击稀疏），GRPO 等 group-relative 方法会丢弃全失败/全成功的 rollout 组；SRD 这类逐轨迹事后监督不依赖组内 variance，能从失败样本中榨取价值。2B 模型在全失败组占 98% 时仍能达到 60.6% 成功率，说明可以复用线上大量负反馈会话做冷启动训练。
- 具体实现用 stopped-gradient 的同一模型当 teacher，输入额外包含 gold solution 或 error annotation，与 student 的前瞻 rollout 做 token 级 JSD 对齐；只选 pitfall 视角通常比 knowledge+pitfall 更稳定且计算更便宜，不要盲目堆多个辅助头。
- 纯 self-distillation 在工具交互任务上可能不稳定（9B OPSD 在 HotpotQA/2Wiki/LCB 低于 vanilla），引入前瞻蒸馏能稳定训练并恢复单调 scaling；在复合 RL+蒸馏目标（RLSD）中也可叠加，通常 +SRD 提升明显。
从修复的推理中学习：根因引导的在策略蒸馏
🧭 LLM 推理训练 · 根因修复蒸馏
Gaoling School of Artificial Intelligence, Renmin University of China · School of Software and Microelectronics, Peking University · School of Information Technology and Management, University of International Business and Economics
提出 RC-OPD，用学生失败推理的根因修复和锚点引导，缓解自蒸馏的推理错配与蒸馏陷阱
📌 工作参考价值（4 点）
- 在训练电商/Agent 多步推理或工具调用链时，不要只用固定 reference trajectory 做 SFT；可以收集模型自己的失败轨迹，定位最早错误步骤，只做局部修复并保留有效前缀，既降低全量重写成本，也能提升样本针对性。
- 将训练目标拆成两类：对错误段用 root-cause 信号强化纠错，对有效前缀用 anchor-guided 信号维持正确行为。这种分段蒸馏思路可迁移到推荐解释、查询改写、广告文案生成等需要保留中间正确约束的任务。
- 诊断-修复-续写循环可形成自动化 on-policy 数据管线：用诊断模型或规则框定错误片段，设置固定 repair budget，通过 continuation 验证修复效果，适合工程化迭代训练 LLM ranker/agent。
- 对生成式推荐中的 CoT/推理链，可以用 valid prefix anchor 避免不必要的约束冲突，减少“模型只抄结论但错误未消”的情况。
多模态智能体训练：从多样性与难度结构设计有效环境分布
🧭 Agent 训练环境优化 · 多样性 & 课程学习
Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences
发现简单增加环境数量并不能提升智能体训练，提出能力感知环境选择与层次化难度课程来优化环境分布
📌 工作参考价值（4 点）
- 在构建用户模拟器或交互环境训练推荐/对话 Agent 时，可采用能力感知采样（AES），按所需能力（如物品识别、偏好推理、对话理解）均匀覆盖环境，避免数据偏向简单交互。
- 借鉴层次化难度课程（HDC），先去除环境中的显式提示信号训练基础能力，再逐步增加状态复杂度（如更多候选物品、更长历史），提升 Agent 的鲁棒性和泛化。
- 工程实现上，为训练环境标注“所需能力”和“状态规模”等元数据，动态调整采样权重，比盲目扩大环境池更高效。
- 在强化学习训练推荐策略时，注意环境分布的难度结构，避免随机均匀采样，课程化安排可加速收敛并提升最终效果。