多 Token 预测的正确优化法：Soft-MTP
🧭 LLM 预训练 · Multi-Token Prediction
MIT
提出 Soft-MTP，通过一行代码改动移除标准 MTP 训练中的噪声残差梯度，只保留 KL 自蒸馏信号，全面提升性能与推理加速
📌 工作参考价值（3 点）
- 若内部训练 LLM 用于生成式推荐（如商品描述、搜索 query 推荐、对话式导购），MTP 是一个可落地的训练技巧。采用 Soft-MTP 的一行改动可同时提升模型困惑度和下游准确率，且无额外计算开销，适合直接加到现有预训练流程。
- 在需要 speculative decoding 加速在线推理的场景（如实时搜索建议、Agent 规划生成），Soft-MTP 训练出的 MTP head 能提供更准确的 draft tokens，显著提升 decoding 接受率和加速比，降低延迟。
- 该 KL gradient-recovery trick 可复用到其他共享输出头的自蒸馏任务，例如知识蒸馏或辅助损失设计，避免直接计算大词表 KL 导致的内存瓶颈，兼容现有 fused cross-entropy kernels，工程实现简单。
弱化以强化：面向大型推理模型的弱化诱导在线策略自蒸馏
🧭 LLM 推理模型自蒸馏训练
Massachusetts Institute of Technology · NVIDIA
通过量化/剪枝构造弱化模型，利用强弱对比信号进行在线策略自蒸馏，无需外部教师
📌 工作参考价值（4 点）
- 在没有更强教师或外部标注时，可对内部 LLM（商品推荐文案、Agent 规划、搜索 query 改写）做“弱化自蒸馏”：将线上模型做低比特量化或幅度剪枝得到弱版，用同批 on-policy 轨迹的强弱概率差/输出对比做 token 级信号，无需人工标注或大模型 API。
- 剪枝版弱模型比量化版提升更明显（+5.5 vs +4.0），在算力有限时优先 magnitude pruning 作为弱化教师；但剪枝需调稀疏度，注意训练稳定性。
- 该方法可嵌入现有 post-training pipeline：用业务真实 unlabeled prompts 跑 on-policy rollout，收集模型自身错误中间步骤，再与弱化模型对比，重点修复推理链偏离，适合 Agent 工具调用/多步推荐逻辑的 RL 后训练。
- 需要验证弱化模型不能太弱，否则对比信号噪声大；建议按任务难度与模型规模调整量化位数/剪枝比例，先小规模消融。
演化自教师的在策略自蒸馏
🧭 LLM 训练 · 自蒸馏教师进化
State Key Lab. of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Meituan
提出 Teacher-Evolution Self-Distillation，通过环境奖励优化自教师并自适应加权学生蒸馏，缓解 OPSD 训练停滞
📌 工作参考价值（4 点）
- 在生成式推荐/Agent 的 RLVR 训练中，可将固定 self-teacher 的蒸馏改为带环境反馈的教师进化：teacher 先 rollout，用任务正确性和上下文独立性构造 reward，再对 teacher 做优化，避免指导质量停滞。
- 利用 teacher reward 估计指导可靠性，作为样本级权重：在 student 蒸馏损失中降低不可靠样本的权重，防止错误 token 分布被放大，适合落地到电商文案生成、query 改写等 token 级 RL 训练。
- 把“是否命中上下文无关的正确答案/动作”作为附加奖励信号，与序列级奖励结合，可缓解稀疏奖励与训练波动；尤其在在线学习或持续 post-training 的 LLM 推荐/对话策略中值得尝试。
- 若内部已有 on-policy 蒸馏或 LLM 推理训练流程，可引入 teacher-student 联合更新，但需注意用 adaptive weighting 防止模型因可靠性估计偏差而 collapse。
Athanor：面向自主后训练研究的智能体原生系统
🧭 多智能体协作自主后训练 ★ 深度解读
ByteDance · Duke University · The University of Chicago · Virginia Tech
四个Claude智能体团队在Athanor系统上自主将Qwen3-4B-Base后训练至接近官方Instruct水平
📌 工作参考价值（5 点）
- 借鉴「外部化研究状态」：将训练数据、checkpoint血缘、评估结果、agent笔记持久化到统一记录，支持断点恢复、审计和多agent协作；在电商/推荐实验平台中可强化实验血缘追踪，避免重复实验和不可复现。
- 借鉴「分离决策与执行」：让LLM agent只负责实验设计、数据检查和结果分析，环境负责GPU调度、训练/评估执行、数据去污、检查点存储，大幅降低工程摩擦；业务中可构建类似命令式接口（job/eval/data/artifact），让算法人员或agent快速发起实验。
- 借鉴多agent协作机制：共享notes和checkpoint，并用统一评测作为verifier来筛选可复用的队友成果；注意需要明确「团队目标」触发分享行为，没有notice时agent只读不写，引入轻量提示即可激活协作。
- 借鉴RL训练trick：在GRPO中以25%概率使用greedy decoding生成rollout，可有效抑制重复循环，提升逻辑/指令跟随任务；此方法可迁移到对话、搜索query改写等生成式任务的RL微调中。
- 数据质量自动检查教训：agent会检查格式、长度、可评分性，但经常忽略答案正确性；在自动化数据处理管线中需显式加入正确性验证步骤，防止噪声答案进入训练集。
函数空间时序自蒸馏策略优化
🧭 强化学习策略优化与自蒸馏
Indian Institute of Technology Kanpur
提出FSPO单策略框架，以历史分布为固定时序目标并引入特权分歧校正，实现稳定高效的策略优化
📌 工作参考价值（4 点）
- 在训练LLM-based推荐Agent或对话策略时，可采用“历史分布作为固定时序目标”的思路，不维护独立teacher模型，减少显存（论文中峰值从70GB降至56GB），适合资源受限的迭代训练。
- “特权分歧校正”可用来抑制模型生成路径中局部过高的token概率，防止在稀疏奖励下过早收敛到次优回复，类似推荐系统中对高置信度但低转化动作的惩罚。
- “可靠性自适应接地”策略：当模型自生成证据多次失败时自动加强外部参考监督（如规则、知识库），可迁移到电商Agent的工具调用或商品推荐解释中，提高事实准确性。
- “质量与覆盖感知记忆”只保留验证过的行为并改善特权演示，可用于构建在线学习中的经验回放池，优先存储高奖励且多样性的轨迹，优化长尾场景。
合成自蒸馏实现小模型持续后训练
🧭 持续后训练 · 合成自蒸馏
KAIST AI · LG AI Research
提出合成自蒸馏，通过稍大同家族模型生成in-distribution监督，解决小模型持续后训练中获取与遗忘问题
📌 工作参考价值（4 点）
- 在电商/搜索场景持续更新轻量级 query 理解或 on-device 模型时，可借鉴「同家族稍大模型生成 in-distribution 伪标签」的蒸馏方式，避免直接使用真实用户反馈造成分布偏移和旧知识遗忘。
- 使用 rejection sampling 过滤低质量合成样本，能提升伪标签可靠性，适合电商/搜索中大量噪声标签或弱监督数据的场景。
- 持续学习前先量化模型输出分布偏移，发现偏移过大时强制启用 in-distribution 重写或防遗忘策略，可部署为在线监控指标。
- 低延迟场景（如移动端推荐特征提取、query 改写）可线下用稍大模型生成高质量训练数据，线上仅部署小模型，兼顾效果与推理成本。
自教师与学生同步：联合在策略学习与教学
🧭 LLM 强化学习 · 自蒸馏训练 ★ 深度解读
Perplexity · NVIDIA
提出JOLT联合训练特权教师与无特权学生，使蒸馏梯度与奖励梯度一致，提升样本效率和最终性能
📌 工作参考价值（4 点）
- 在训练LLM-based推荐/搜索/Agent模型时，若存在特权信息（如用户真实反馈、人工标注、高质量参考），可采用JOLT模式：同一模型联合训练特权教师和无特权学生，教师用KL正则化向学生，避免教师走捷径导致蒸馏信号与奖励梯度相悖。
- 对于稀疏奖励的长程任务（如多轮对话推荐、会话转化优化），JOLT的密集token级监督可大幅提高样本效率；教师可接收用户反馈摘要、历史成功策略等作为privileged context。
- 工程实现简单：共享参数的教师和学生分别生成轨迹，使用logprob ratio作为token权重，结合group advantage归一化，无需额外教师模型。
- 超参数经验：教师KL β_T 和学生蒸馏 β_S 宜设较小值（如β_T=0.001~0.03, β_S=0.1），过大会训练不稳定；学生奖励可用时，JOLT+补充直接RL可进一步提升。
VisionWeave：为多模态大模型原生编织弹性视觉表征
🧭 多模态 LLM 视觉 token 弹性压缩
University of Science and Technology of China · Alibaba Token Hub, Alibaba Group · The Chinese University of Hong Kong · Zhejiang University
提出 VisionWeave，通过 gated spatial pooler 与 granularity router 实现内容自适应视觉 token 压缩，节省 43% token 保持 98.9% 性能
📌 工作参考价值（4 点）
- 多模态商品/广告素材理解中，图片与视频区域信息密度不均，可借鉴 VisionWeave 的内容自适应 token 分配：对背景/空白用 coarse-grained 池化，关键商品区域保留 fine-grained，降低推理成本同时保持识别精度。
- 采用 gated spatial pooler + granularity router 两阶段设计，让模型学习“哪里需要细看、哪里可以粗看”，共享 MRoPE 坐标无需改动位置编码，方便集成到现有视觉 Backbone 和 Serving 框架。
- 使用 self-distillation 训练弹性表示能力，不依赖人工标注 token 重要性，适合业务数据标签稀疏；虽然训练成本高（30K A100 GPU-hours），但推理端吞吐提升 2.3x、TTFT/TPOT 大降，对在线多模态推荐/Agent 服务有直接价值。
- 工程上可复用开源的 SGLang 集成，注意变长 token 输入对批处理与 KV cache 管理的影响，适配电商多图/视频场景可显著提升 GPU 利用率与响应速度。
ASCENT：通过验证经验自蒸馏实现在线测试时训练长程智能体
🧭 Agent 在线测试时训练 · 自我蒸馏验证经验 ★ 深度解读
University of New South Wales (UNSW Sydney)
用冻结初始模型将验证成功的轨迹蒸馏为 LoRA 软目标，使长程 Agent 在单次任务流中稳定在线进化
📌 工作参考价值（4 点）
- 在线学习方案：在对话式导购/客服/智能投放等长程 Agent 场景，可以用冻结 base 模型 + LoRA 快权重持续训练。每次成功会话（成交/点击等强验证）做一次自蒸馏，失败跳过更新，无需 replay buffer，工程成本低。
- 特权信息构造：将成功会话的动作有效部分（排除 parse 失败或环境未执行的动作）与推理文本保留，去掉 observation（按模型规模调整），作为 teacher 的 hindsight 上下文。教师看到完整成功轨迹后产生全词表 soft target，学生只在当前 prefix 学习，可减少冗余 detour 动作、提升 turns 效率。
- 蒸馏目标选择：用 forward KL 匹配全词表分布，而不是最大化生成 token 概率或 REINFORCE 梯度；这能抑制策略对自身输出的过拟合，避免熵崩溃和无效动作增加，尤其适合单条轨迹在线流。
- 与 in-context memory 互补：小模型可能被检索记忆干扰，可单独用权重更新；大模型可以叠加 retrieved memory 与 ASCENT 权重，形成 co-evolution。动作有效性过滤可免费从环境响应中解析得到，可作为轨迹清洗信号。
缺失的原语：诊断与修复大语言模型数学推理
🧭 数学推理诊断与后训练蒸馏 ★ 深度解读
Texas A&M University · Harvard University · Vanderbilt University · Stanford University · DARPA
提出 Mathematical Primitive 与 PRIM benchmark 诊断结构性理解，并用 ABSORB 蒸馏框架提升推理
📌 工作参考价值（4 点）
- 在推荐/Agent 场景中，把复杂推理拆成「意图/结构发现」与「执行/生成」，用诊断 benchmark 定位瓶颈是 discovery 还是 execution。例如 query 推荐中区分「用户意图识别」与「候选生成/排序」，不要只看最终指标掩盖能力差异。
- 做 privileged information 蒸馏时，教师侧不要给完整 solution，而是给 concise structural hint（如 query 的语义类目、用户意图标签、商品属性约束），并采用 bounded override / one-sided clamp 限制教师过度覆盖学生自身策略，减少已解决 case 的回退。
- 后训练样本优先选择 discovery-limited failures：模型拿到正确 hint 就能解的问题，修复收益约为联合失败 case 的 3 倍。对应推荐系统中可优先构造「给了正确类目/意图就能推对」的 hard case 用于 SFT 或蒸馏。
- 评估体系增加结构性理解维度（如能否从完整 session 中识别核心购买动机），避免单纯 final answer accuracy 掩盖模型能力画像差异，尤其在迭代模型版本时用于回归监控。
AdviSD：通过定向多轮自蒸馏训练前沿 LLM 的顾问模型
🧭 小型 advisor 训练 · 定向自蒸馏 + GRPO ★ 深度解读
Google · University of Southern California
用配对评分筛选哪些反思修正值得监督，训练小型 advisor 通过自然语言建议提升冻结 Gemini/Claude 的工具调用与多轮 agent 表现
📌 工作参考价值（4 点）
- 对调用黑盒 LLM API 的电商/Agent 场景，可以用小模型做外部 advisor，不必微调 frontier 模型；AdviSD 的配对评分过滤不依赖 executor logits 或额外 rollout，工程成本低。
- 训练时把“修正生成”和“选择哪些修正用于监督”解耦：用 pre-update advisor 对同一 executor 回复计算 with/without advice 的平均 log-prob 差，只保留差值超过阈值的决策；不要学所有反思修正，尤其避免学对 executor 行为无影响的“正确但无用”建议。
- 对原始 abstention 决策要单独 bypass：因为无 advice 时 with/without 上下文相同、score 差为 0，容易被过滤掉；保留被 reflection 标记的 missed advice 可提升 0.6–1.7 点。
- 做消融时加 matched-count random control，能区分“少学一点”和“选得对”；阈值可以用 donor advice（其他任务 advice）在 pilot 上校准并固定。
从给定证据到主动采集证据：纵向医疗推理的智能体学习
🧭 Agent 工具调用与证据采集强化学习
Durham University · DAMO Academy, Alibaba Group · Hupan Laboratory · University of the Chinese Academy of Sciences
提出 CASE 角色化临床智能体与训练框架，将证据寻求策略蒸馏到 8B VL 模型，纵向医学基准超越 GPT-5.4 与 Claude Opus 4.8
📌 工作参考价值（4 点）
- 信息获取型 Agent 的环境设计：不要把用户/商品/内容/广告记录一次性塞进大 context，而是将不同数据源组织成可查询工具（历史订单、点击序列、画像、素材、库存/物流等），让策略模型自主决定“看哪个来源、看多细、是否回看”。这更适配需要跨多证据推理的选品归因、活动复盘、商品冷启动与客服工单诊断。
- 训练框架可复用：先 SFT 蒸馏 frontier 模型的多轮工具调用轨迹，再做 on-policy RL + 特权自蒸馏 + rubric-based LLM 反馈；关键是不规定工具调用顺序，只奖励最终结论质量与证据引用合理性。比固定 pipeline 更适合搜索推荐的动态环境。
- 评测结构化：以真实结果（如 ICD-10 诊断）生成问题，让 Agent 在患者环境中主动取数；业务上可由真实成交/退货/投诉/复购结果构造诊断性问题，评估 Agent 的证据检索与归因能力，而不是只看预测 AUC。
- 8B 紧凑策略模型 + 对齐过的评估条件能超过大体量 frontier 模型，说明把前端交互策略训练好，中小模型在特定业务环境中具备落地性价比。
超越时间戳：面向长程智能体的决策对齐在线策略蒸馏
🧭 长程 Agent 决策对齐的在线自蒸馏 ★ 深度解读
Beihang University · Tsinghua University
提出 ALIGNOPSD，用跨 rollout 决策对齐修正特权监督并用可变决策片段分配 credit，长程 Agent RL 提升 5.5–8.7%
📌 工作参考价值（4 点）
- 在电商导购/搜索式推荐 Agent 的 RLVR 训练中，若用带特权信息的 teacher policy 做 dense 监督，不要按 turn index 对齐 teacher/student；用 thinking trace 的 frozen embedding 余弦做跨 rollout soft matching，再 teacher-force 同一 response，可避免时间戳错配污染 credit。
- 把一次输出作为 credit 最小单位太粗、token 太细；用相邻 turn 的 correspondence profile 的 JSD 变化自动切分决策片段，再在 span 内按证据分配 advantage，更适合“同一个决策跨多轮”的场景（如搜索→点商品→比价→加购中“比价”持续多轮）。
- 优势分配时用 stop-gradient 的权重乘到 group-normalized advantage，不引入额外 distillation loss；KL 正则约束 span/turn 分配不偏离均匀 token measure，训练更稳定。
- 超参默认值：credit temperature T=0.5 跨任务和模型尺度较稳定；thinking similarity threshold 0.7–0.8 较稳；top-K 需按任务调，长轨迹可稍大，短轨迹需更小。
信息近端自蒸馏用于LLM持续学习
🧭 LLM 持续学习 · 信息约束自蒸馏
Georgia Institute of Technology · Imperial College London · Politecnico di Torino · UCL Centre for AI
提出iSDFT将教师视为预算信息源，在每步选择满足信息约束的最近分布，提升LLM持续学习中稳定性与可塑性的平衡
📌 工作参考价值（4 点）
- 在电商/推荐场景中，当用新数据微调LLM（如用于query理解、内容生成、推荐理由）时，可采用iSDFT的“信息预算”思想：对每个token动态决定从教师（新任务模型）吸收多少信息，避免新策略完全覆盖旧能力，尤其适合需要持续更新但必须维持基线性能的线上系统。
- 锚定冻结基础模型（frozen base policy）的做法可作为一个轻量正则化项加入现有微调损失，实现简单且可稳定训练，有助于在迭代推荐模型时控制累积漂移，减少对旧用户行为模式的遗忘。
- 闭合形式的指数目标（exponential tilting）无需额外优化循环，工程实现成本低，可直接用于LLM4Rec的在线学习或定期更新，平衡稳定性和塑性。
- 该方法对多任务、多模态的推荐系统持续学习有借鉴意义：可以按任务重要度设置不同的教师信息约束，实现可控的旧知识保留和新知识注入。
SelfDR：基于推理自蒸馏的 LLM 推荐框架
🧭 LLM 推荐 · 自蒸馏推理增强 ★ 深度解读
Tsinghua University · Quan Cheng Laboratory · Meituan
用推荐性能为 reward 训练 reasoner，再通过动态加权自蒸馏将推理增强迁移到直接推荐模型，在线推理零额外开销
📌 工作参考价值（4 点）
- 在线延迟敏感场景可直接复用：训练时用 GRPO 以推荐命中率为 reward 训练一个 reasoner 生成用户偏好解释，将解释拼入 teacher 输入得到更强排序分布；在线部署 student 直接输出候选 ID，不产生额外推理 token，实测推理时间与普通 SFT 模型相同。
- 动态蒸馏权重公式值得借鉴：根据 teacher 对正样本的排序位置、teacher 与 student 的 rank 差动态调整蒸馏 loss 权重，teacher 排序差时大幅降权，避免从噪声中学习；超参 β≈0.1、温度系数 1~2 较稳。
- 蒸馏损失用 reverse KL 而非 forward KL，让 student 分布集中到 teacher 高概率区域，适合候选 ID 排序场景（候选集有限，需要聚焦 top 候选）。
- 训练 reasoner 时对 rationale 做细粒度 mask（连续 3 个词与 item 标题重叠则 mask），防止信息泄露，提升 rationale 质量；此策略可迁移到任何用生成解释辅助推荐的 pipeline。
测试时策略优化：非对称蒸馏与GRPO的无标签推理提升
🧭 测试时训练 · 非对称蒸馏与RL ★ 深度解读
Zhejiang University · Alibaba Group
多数投票伪标签下，正样本蒸馏、负样本GRPO惩罚，配合token级选择，无标签测试时训练匹配有监督OPSD
📌 工作参考价值（4 点）
- 无标签或延迟反馈的业务场景（如搜索/推荐结果的多步解释、Agent 任务完成率）可用模型自身多数投票/一致性产生伪标签；关键是不要直接蒸馏伪标签，而是对“与多数不一致”的样本做 RL 惩罚，这比正向模仿伪标签更抗噪声。
- 多步 Agent 或生成式推荐做 test-time fine-tune 时，正样本用蒸馏、负样本用 RL 惩罚，并且只对负样本中 confident errors（低概率低熵）施加梯度，避免惩罚正确的中间步骤；正样本按 step 重要度加权，降低已收敛位置的权重。
- 工程 trick：RL loss 需要加权重（约 0.1）平衡蒸馏 loss 的量级；固定正负样本 1:1 比动态比例更稳定；选择最短完整轨迹进入梯度更新窗口，可避免关键决策步骤落在梯度窗口外。
- 若业务有“答案可验证但无真值”的场景，优先用多数投票路由而不是 ground-truth 路由：困难样本上 GT 路由可能正样本为空导致训练信号消失，多数投票保证两个分支活跃，形成自我进化。
ArmorOCR：基于观察迁移自蒸馏的对抗视觉文本感知
🧭 多模态对抗 OCR 鲁棒训练
Ant Group · Shanghai Jiao Tong University · East China Normal University
提出首个对抗性 OCR 基准 AdvSpot，并以观察迁移自蒸馏与 GRPO 提升 LMM 对抗文本定位识别鲁棒性
📌 工作参考价值（4 点）
- 电商图像中常见变形、遮挡、水印等对抗性文字，可借鉴 AdvSpot 的 13 类模式与区域级标注构造内部鲁棒 OCR 测试集，评估商品标题、标签、资质文本识别。
- OPSD 用 privileged transformed observations 做自蒸馏：先让模型在易读观察上生成定位/识别伪标签，再迁移到对抗观察，可迁移到用户上传图、广告素材等难例训练。
- GRPO 奖励拆分为 localization、recognition、full spotting、VQA 四类并动态加权，可作为多任务强化微调的 reward 设计模板，适用于需要同时优化定位与理解的多模态 Agent 任务。
- 保持通用 OCR 能力不掉的训练策略（两阶段、混合数据）可借鉴到已有 LMM 的鲁棒性增强，避免只提升对抗场景而伤害线上自然文本识别。
面向多轮工具调用智能体的菱形拓扑感知检索与自蒸馏训练框架
🧭 多轮工具调用 Agent 的自蒸馏训练 ★ 深度解读
ByteDance · University of Science and Technology of China
构建交互状态转移图并识别关键拓扑断点，仅对恢复步骤做局部监督，提升多轮工具调用效率与泛化。
📌 工作参考价值（5 点）
- 业务值得借鉴的：
- 将多轮工具调用轨迹建模为交互状态转移图（ISTG），用信息原子抽象归一化语义等价工具响应，可有效压缩状态空间并捕捉顺序无关子目标的菱形拓扑，适合电商/搜索 Agent 中多路径比价、商品查询等场景。
- 用成功可达区域投影定位第一个偏离点（CTB），只对失败后的恢复步骤做局部监督并 mask 有效前缀，避免全局 SFT/RL 对有效探索的误惩罚，可缓解 credit misassignment 和灾难性遗忘。
- 采用渐进式自蒸馏：每轮从学生 rollout 中检测能力边界，用教师轨迹检索恢复参考，形成自步课程；工程上可低成本迭代，且能逐步缩短工具调用链（文中 3.55 vs golden 4.02）。
- 在具备 verifiable feedback 的自动构建环境（类似 FTRL）中先构造教师轨迹池与状态图，再迁移到真实业务前可用该框架做离线自蒸馏。
SkillForge：面向项目特定问题解决的自蒸馏 Agent
🧭 Agent 自蒸馏获取项目特定知识 ★ 深度解读
Shanghai Jiao Tong University
通过从仓库自身测试与代码合成 issue 并蒸馏为实体级技能，解决 SWE agent 的项目冷启动问题
📌 工作参考价值（4 点）
- 可复用的架构：离线自蒸馏 + 在线检索注入。电商/广告/推荐 Agent 同样存在“项目冷启动”：新业务域缺乏领域知识。可用仓库测试/日志/历史行为作为监督，先离线合成任务并跑通 Agent 轨迹，再蒸馏成可检索知识，在线时只做轻量注入，避免每次线上任务都重探。
- 双级技能库 + 实体对齐的 JIT 注入。不要把所有知识一次性塞进 prompt。把诊断类知识（模块定位、排障 playbook、关联 API）做全局初始化检索；把干预类知识（修改时的坑、修复模式）绑定到具体实体，Agent 访问对应实体时再注入。这比纯语义相似度检索更精准，能降低上下文噪声。
- 合成任务要“功能级”而不是“单函数级”。只改一个函数往往暴露不了跨模块集成问题。应沿执行 trace 一次覆盖多个协同代码段，合成出来的任务才更接近真实业务故障。
- 知识是模型相关的，跨模型迁移会掉点。如果是电商 Agent，不同底座模型编码偏好不同，蒸馏出的领域知识应尽量与线上推理模型绑定，不要拿 A 模型蒸馏的知识直接给 B 模型用。
可组合非结构化知识编辑的混合策略自编辑
🧭 非结构化知识编辑与组合推理
University of Tennessee · Rutgers University · Purdue University · University at Albany
提出HPSE，通过特权上下文自蒸馏与混合rollout注入缺失事实，使非结构化知识编辑具备组合推理能力
📌 工作参考价值（4 点）
- 快速修正线上LLM中的商品信息、活动规则、推荐话术时，可将HPSE作为即插即用层叠加在现有知识编辑方法上，提升模型对更新事实的原子问答与多跳组合推理能力，避免每次全量微调。
- 混合rollout自蒸馏可迁移到LLM微调/RLHF：当注入知识（新类目、新政策、新活动）在模型自身生成分布中覆盖不足时，把标准答案片段插入模型生成的失败位置，其余保持on-policy，构建蒸馏数据或训练信号，比纯SFT或纯on-policy蒸馏更有效。
- 无需外部监督，利用模型自身上下文作为特权状态，适合业务中无标注事实更新场景，可降低标注成本。
- 注意：方法假设单一模型内更新，在多用户/多会话推荐系统中需额外验证编辑一致性与遗忘副作用。
面向智能体强化学习的轨迹相对事后蒸馏框架
🧭 Agentic RL · 轨迹相对事后蒸馏 ★ 深度解读
Zhejiang University · Shanghai AI Laboratory · Tencent
提出TRIAL，通过轨迹相对事后蒸馏将密集监督按轮次合理分配，显著提升多轮Agent的RL训练效率
📌 工作参考价值（4 点）
- 多轮对话/推荐Agent训练中，可用轨迹相对事后视图提供密集token级信用分配，突破GRPO仅靠结局奖励的局限
- 事后视图构造方法可迁移：将用户后续反馈（如点击、购买）作为条件化上下文，重评分已生成的推荐回复，获得符号化修正信号
- 轮次归一化权重（token加权均值=1）确保不改变整体更新强度，仅重新分配监督焦点，易于与现有RL框架（如PPO）集成
- 训练时引入事后信息，推理阶段无需任何额外模块或开销，适合在线服务部署
无监督在策略自蒸馏：仅依赖模型自身一致性
🧭 无监督自蒸馏 · 内部一致性 ★ 深度解读
UC San Diego · Georgia Institute of Technology · University of Maryland, College Park · ByteDance
用模型多路采样投票伪标签实现对未标注数据的高效在策略自蒸馏，在数学推理上超越有监督方法
📌 工作参考价值（4 点）
- 无标签场景自蒸馏：当推荐/搜索/Agent 场景缺乏标注反馈时，可利用同一请求的多路生成投票一致性构建伪标签，驱动模型自我改进，减少对人工标注的依赖。
- 不一致轨迹定向蒸馏：通过对模型输出不一致的样本进行集中蒸馏，定位并修正模型易错/混淆区域，类似推荐中利用用户反馈不确定性进行针对性优化。
- 蒸馏散度选择：Forward KL 显著优于反向 KL 或 JSD，可作为推荐模型知识蒸馏时的默认选择；教师模型使用 EMA 更新（衰减 0.995）比冻结更稳定，可参考用于在线蒸馏。
- 完整性要求：蒸馏必须使用完整推理轨迹而非仅最终答案，提示在生成式推荐（如商品文案）中保留完整生成过程作为教师信号更有效。
AgentOPSD：通过递归自蒸馏为多轮Agent提供回合级信用分配
🧭 Agent 多轮交互的回合级信用分配 ★ 深度解读
清华大学 · 浙江大学 · 美团
将自蒸馏的token级log概率差聚合成信念状态，通过贝叶斯递归更新定位关键回合，重塑轨迹级优势函数
📌 工作参考价值（4 点）
- Agent RL 训练的信用分配：电商/搜索 Agent 的任务往往多轮交互（多步检索、筛选、比较），轨迹级奖励广播会模糊关键动作。AgentOPSD 的递归信念更新提供了一种轻量替代方案：无需训练额外 critic，仅通过自蒸馏的 token 级 log 概率差来估计每个动作对最终结果的贡献，可迁移到商品搜索 Agent 或对话式推荐 Agent 的强化学习微调中。
- 自蒸馏信号的利用方式：论文演示了如何将自蒸馏的 log 概率差转化为“证据”，并用于贝叶斯更新而非直接作为损失或缩放因子。在电商 Agent 中，业务特征（如用户停留、点击等）常作为特权信息仅在训练时可用，可仿照此思路构建 teacher 分支，生成回合级证据并根据信念变化幅度动态调整优势权重，提升样本效率。
- 多轮对话/交互的鲁棒性：AgentOPSD 在长 horizon 任务上优势显著，且超参数不敏感（λ 除外）。对于广告多轮出价或多步推荐场景，该方法的衰减累积机制和基于信念状态饱和度的自适应门控（B(1−B)）同样适用，可避免早期冗余动作的噪声干扰，同时稳定训练。
- 工程实现友好：仅需一次额外 teacher 前向传播，无额外 rollout 或 critic 网络，可直接嵌入 GRPO 训练循环。对于已有 GRPO 流程的团队，迁移成本低；且开箱即用的超参数（λ=0.5, γ=0.95）提供了直接参考。
观察校准自蒸馏：解耦智能体强化重放信号的混杂因子
🧭 Agent 强化学习 · 令牌级信贷分配 ★ 深度解读
Meituan LongCat Interaction · Nanjing University · Peking University · McMaster University · Fudan University
通过对比含/不含未来观察的结构化重放视图消除支架混杂，为GRPO提供校准的令牌级更新信号
📌 工作参考价值（4 点）
- 特权重放信号的混杂控制：在使用未来反馈或后见之明信息进行令牌级监督时，可构造“完整视图”与“消融视图”（如仅屏蔽关键未来信息，保持格式、动作支架一致），取两者分数差作为残差，剔除由重放格式、支架引入的偏好偏移，从而使特权信号更干净地归因于目标信息。
- 选择性校准高不确定步骤：按旧策略的序列平均负对数似然排序，只对每个轨迹中前20%高困惑度步骤施加令牌级精细化信号，既能提供有效指导，又避免对低价值步骤引入噪声，提升训练效率与稳定性（计算开销仅增1.4%）。
- 保向调幅的集成方式：在政策优化时保持原始轨迹级优势的方向不变，仅用校准信号按比例缩放更新强度（如 \(bA_{text{cal}} = bA \cdot (1+\beta \cdot \text{sgn}(bA) \cdot q)\)），易于嵌入现有GRPO/PPO框架，无需额外损失项或辅助目标。
- 适用于多步交互型Agent：该思路可直接迁移至对话推荐、搜索代理等多轮交互场景，利用后续用户反馈或环境状态构建结构化对比视图，实施步骤级信用分配，提升策略学习对关键行动环节的敏感度。
状态匹配路由与上下文自蒸馏解决多轮 Agent 特权指导失配
🧭 Agent 多轮训练中状态感知的蒸馏策略 ★ 深度解读
University of Electronic Science and Technology of China
提出状态匹配路由决定何时使用特权轨迹蒸馏，并构造状态上下文化教师语境，显著提升多轮策略效果
📌 工作参考价值（4 点）
- 多轮 Agent 训练中谨慎使用特权轨迹：在对话推荐、搜索等交互式 Agent 中，若用成功日志作为特权指导，直接对全部轮次施加蒸馏会因状态不匹配而降低有效策略概率。可借鉴状态匹配路由思想，仅在与当前执行进度兼容的轮次上使用特权信号。
- 构建轻量结构化状态签名：不必学习状态匹配模型，用手工设计的确定性规则（如位置、库存、页面类型、已选选项）即可快速判断当前状态是否与参考轨迹的某个前置状态兼容，适合工业落地时的快速迭代。
- 教师上下文中加入状态摘要与候选动作：在蒸馏时，除完整成功路径外，添加当前状态的简要总结和匹配到的候选下一步行动，比单纯给完整路径更能引导教师产生正确偏好。这可以用于电商导购 Agent 的多轮决策优化。
- 路由与上下文解耦设计：控制实验表明，仅路由掉不匹配轮次（减少蒸馏噪声）就能带来主要收益，而加入状态上下文化上下文能进一步小幅提升。工程实现时可先做简单的路由遮挡，再逐步增强上下文。
Agent强化学习中的持久一致性自我蒸馏
🧭 Agent强化学习·自蒸馏一致性
Beijing Institute of Technology · Meituan · Institute of Automation, Chinese Academy of Sciences · Tsinghua University
通过教师信号局部持久性计算token级权重，联合GRPO缓解Agent稀疏奖励问题
📌 工作参考价值（4 点）
- 在电商/对话搜索Agent的RL微调中，可采用稠密token级蒸馏信号缓解稀疏奖励，利用PCSD的持久一致性权重降低教师噪声。
- 生成式推荐中蒸馏大模型输出时，可借鉴持久一致性思想评估各token的可靠性，用于知识蒸馏中的动态权重分配。
- 自适应窗口与指数衰减聚合捕捉局部支持趋势的做法，可迁移至用户行为序列建模或Agent轨迹中的注意力权重设计。
- 联合GRPO与蒸馏目标的多任务训练范式，为推荐Agent提供了一种平衡探索与利用、兼顾环境反馈与教师引导的优化思路。
β-OPSD：将策略优化用于推导、自蒸馏用于训练的推理增强框架
🧭 KL正则化策略优化 · 自蒸馏 ★ 深度解读
University of Maryland, College Park
将on-policy自蒸馏统一为KL正则化策略优化族，通过可控的logit插值目标与return-to-go信用分配替代直接教师模仿，显著提升推理模型训练稳定性与性能。
📌 工作参考价值（4 点）
- 蒸馏目标调度：在在线蒸馏中，不直接跳到教师分布，而是用logit插值在参考策略与教师之间构造平滑课程（β从大到小）。这一trick可迁移至推荐系统的生成式模型训练（如LLM生成商品标题或推荐解释），避免训练初期因教师‑学生差距过大导致的崩溃。
- return‑to‑go信用分配：将序列级KL散度梯度分解为token级累积未来误差，替代局部token‑KL损失。在电商对话Agent中，对于多轮对话的回复质量评估，可借鉴这种将最终用户满意度信号反向传播到每个token的方法，提升训练效率。
- 参考策略的动态/固定选择：实验表明，使用当前学生（stop‑gradient）作为参考端、固定教师作为教师端的混合插值效果最好。这在搜推场景中可对应为：用当前模型的历史快照作为“保守先验”，用业务强信号（如成交）构造教师，在持续学习或在线更新时保持稳定性。
- 低成本策略优化近似：通过闭式解推导出理论最优目标，再用轻量logit混合实现，避免直接RL的方差和成本。在资源受限的推荐Agent微调场景中，可复用这种“推导用RL，训练用蒸馏”的范式，兼顾效果与效率。
从未来学习：时序推荐的特权自蒸馏
🧭 序列推荐 · 自蒸馏与特权信息利用
Renmin University of China · National University of Singapore · Alibaba Group
将未来交互作为训练特权信息，通过双视图自蒸馏提升序列推荐性能，不增加推理成本
📌 工作参考价值（3 点）
- 在训练序列推荐模型时，可利用用户完整会话中的后置交互作为特权信息，构建双视图自蒸馏：一个掩码看到未来项（教师），另一个只看历史前缀（学生），共享同一 backbone，蒸馏后不改变推理模型与成本，适合对延迟敏感的电商场景。
- 动量平均教师（EMA）和优势可达门控是两个关键稳定性 tricks：EMA 教师参数随学生缓慢更新，避免噪声；可达门控根据历史前缀判断未来项是否可达，自适应加权蒸馏损失，能防止强制学习不可达的未来，可迁移到其他 teacher-student 蒸馏任务。
- 该方法可叠加到任意因果注意力序列模型（如 SASRec）上，无需单独预训练教师，端到端单阶段训练，工程实现成本低：仅需在数据加载时保留多步未来，并在 attention 层插入一个额外的未来感知掩码，适合快速实验。
混合事后自蒸馏H^2SD：分轨迹成败的推理增强训练
🧭 LLM 推理训练 · 事后自蒸馏
Shanghai Artificial Intelligence Laboratory · Harbin Institute of Technology · Fudan University · The Chinese University of Hong Kong
提出H^2SD，根据轨迹成败分别用重述增强和参考提示进行教师信号调制与蒸馏，提升推理训练稳定性和效果
📌 工作参考价值（4 点）
- 训练LLM Agent时，区分成功与失败轨迹：对成功响应只做重述增强，用重评估概率调制更新幅度，避免扰乱正确行为；对失败响应引入事后参考提示和逆向KL蒸馏，提供明确纠正信号
- 在商品推荐对话、多轮推理等场景，可利用用户反馈（如点击/转化）作为轨迹正确性标签，分别应用不同的教师蒸馏策略，克服稀疏奖励下的token级信用分配问题
- 混合教师上下文构建方式无需额外强教师模型，仅需事后正确答案（如验证器确认的结果），降低工程依赖，适合轻量级业务fine-tuning
- 重述指令（rephrasing）可凸显关键推理步骤，类似推荐解释生成中可对高质量解释进行改写增强，抑制冗余，提升生成效率与稳定性
通过自我蒸馏增强基于量规的强化学习
🧭 Rubric-based RL 训练优化
Zhejiang University · ByteDance
用 on-policy 自我蒸馏同时解决 rubric RL 的未被探索准则和压制准则问题，消除训练推理不匹配
📌 工作参考价值（4 点）
- 当使用 rubric-based RL 训练对话/推荐 Agent 时，可借鉴 CriPO 的自我蒸馏框架：对训练中从未满足的准则，构造一个注入准则提示的 teacher 模型，用局部 forward-KL 损失将缺失行为蒸馏到当前策略，无需在推理时引入额外引导，避免 train-inference mismatch。
- 针对 scalar reward 聚合导致部分准则信号被压制的问题（如推荐理由生成中某维度得分高但总分低），可识别与压制准则相关的 token，将其 token-level advantage 翻转为正值，保留被全局奖励淹没的细粒度模式，提升策略学习效率。
- 实现上，两个 self-teacher 均从当前策略加载参数（on-policy），工程简单，且实验中只需约一半训练步数即超越基线，适合资源敏感的业务场景快速迭代。
- 该方法不依赖外部模型或数据，仅利用 rollout 样本和准则元信息，可直接集成到现有 GRPO/PPO 训练框架中，对推荐系统的多目标/多准则 RL 对齐具有参考价值。
教智能体停止而不仅是点击：CUA-RL的可靠性度量
🧭 Agent强化学习的方差分析与可靠报告 ★ 深度解读
Cabal AI · Para AI
发现CUA-RL结果被上游方差（数据抽取为主）误导，提出k种子报告协议并揭示修复难度由动作约束决定
📌 工作参考价值（4 点）
- 强化学习训练与评估协议：在推荐/搜索/对话Agent的RL训练中，单次运行的结果不可靠。应采用≥5个独立数据抽取×多训练种子的交叉评估，报告平均数和标准差（或IQM及分层 Bootstrap CI），避免因数据批次差异导致错误结论。
- 统一验证器提升训练效率：将任务完成验证器复用于“提示、教师、奖励、部署门控”四通道，类似在推荐系统中构建自诊断模块，可同时用于在-上下文纠正、知识蒸馏信号、稀疏奖励塑形和在线安全检查。
- 引入行为克隆安装正向动作：当策略从未采样到正确动作（如停止、罕见推荐）时，纯策略梯度无法强化它。利用验证器的蒸馏项（gated BC）注入该动作，可解决稀疏/负奖励场景下关键动作难学习的问题，类似电商推荐中引入用户明确停止信号。
- 数据抽取比种子更关键：方差分解显示训练数据批次差异是效果波动的主要来源（困难任务上占48%方差），训练种子影响小（≤10%）。在推荐系统AB测试或离线评估时，应优先控制训练数据的划分方式，而非仅关注模型初始化。
整流流最优自蒸馏：线性探测下的闭式解与自动正则化校正
🧭 生成模型自蒸馏优化
University of Texas, Austin
提出整流流中通过混合真实与教师速度的自蒸馏可严格改进教师，并给出最优混合系数的闭式解
📌 工作参考价值（4 点）
- 若在生成式推荐（如扩散模型生成 item embedding）中遇到自蒸馏场景，可直接引用闭式最优混合系数，避免网格搜索，降低调参成本。
- 符号规则（正混合修正欠正则化，负混合修正过正则化）可作为诊断工具：根据教师模型的正则化状态决定合成数据与真实数据的混合方向。
- 一阶段 GCV 或验证调优方法可集成到训练流程中，自动决定合成/真实数据配比，提升生成样本质量。
- 理论保证的生成误差下降，对需要严格质量控制的下游业务（如广告创意生成）具有可靠性的参考价值。
DeepSearch-World：确定性搜索环境中智能体的自蒸馏训练框架
🧭 Agent 自进化 · 确定性搜索环境 ★ 深度解读
HKUST · Tencent · HKUST(GZ)
在确定性 Wikipedia 离线环境中，通过 scaffold 教师轨迹生成与监督自蒸馏，让 9B 搜索智能体自进化至开源领先水平
📌 工作参考价值（4 点）
- 构建确定性离线环境用于 Agent 训练：可借鉴 Wikipedia 离线索引 + 工具模拟，将线上搜索/浏览工具映射为确定性函数，便于大规模生成可验证的训练轨迹，避免线上环境噪声与成本。
- Scaffold 教师轨迹中的规划与反思注入：利用三阶段教师 (Plan-Act-End) 生成包含进度追踪、反思与错误恢复的轨迹，再通过 Scaffold-to-ReAct 转换将结构化状态、反思改写为 ReAct 的 thinking 块，让普通 ReAct agent 学会规划、记忆与自我纠错。
- 自进化循环的异步生成与重要性采样混合：生成与训练解耦，使用指数衰减的重要性采样混合多轮轨迹，优先新高质量样本同时保留早期数据以防遗忘，稳定提升长程工具使用能力。
- 可微调的动作/工具使用行为示例：全流程以 SFT 实现，无需复杂 RL 奖励设计，从正确性验证 + 质量过滤即可提升工具调用成功率与多跳推理深度，适合快速在业务 Agent 中尝试自进化。
基于神经元感知的无标注自蒸馏数据选择方法
🧭 无标注LLM自蒸馏与数据选择
University of Pittsburgh
通过神经元激活筛选无标注数据和构造上下文，实现无监督LLM自蒸馏，提升领域性能且保持泛化
📌 工作参考价值（4 点）
- 可利用神经元激活计数筛选模型易答对的未标注样本进行自训练，降低电商/推荐领域高质量标注依赖。
- 通过神经元激活重叠度检索少样本上下文构造教师提示，提升伪标签质量，可借鉴到LLM生成式推荐的教师模型构建。
- 采用逆向KL蒸馏 + EMA教师稳定训练，避免校准崩塌，适合需校准概率的推荐场景（如CTR预估）。
- 纯离线、无奖励信号的迭代框架，适合无在线交互的广告/搜索系统日志后训练。
越密集不等于越好：持续后训练中同策略自蒸馏的局限性
🧭 持续学习 · 自蒸馏 vs RL 优化
Centre for Artificial Intelligence and Robotics, HKISI, CAS · Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Nanjing University of Science and Technology
同策略自蒸馏在持续后训练中会加剧遗忘甚至崩溃，而GRPO等保守RL方法更稳健
📌 工作参考价值（4 点）
- 持续更新模型时避免密集自蒸馏：在电商搜索推荐场景，如果用LLM持续学习新品类或新意图，采用SDPO等密集自蒸馏会显著遗忘旧知识，应改用GRPO等更保守的on-policy RL方法。
- 监控参数与响应漂移：自蒸馏会导致更大的参数空间和输出分布漂移，可设置漂移阈值，一旦检测到骤变即回滚或降低学习率。
- 警惕格式退化：自蒸馏的token级监督会通过自我强化循环放大高频格式伪影（如固定模板、重复短语），在生成推荐理由或广告文案时易导致风格单一化，可引入多样性约束或温度调节。
- 同策略数据非万能：不要以为只用当前策略生成的数据就能稳定持续学习，需要结合重放缓冲或正则化手段保持旧任务能力。
带采样示例的在线策略自蒸馏降低输出多样性
🧭 LLM 训练 · 自蒸馏与多样性偏差
揭示在线自蒸馏因条件于采样示例而放大模型偏差，导致输出多样性锐减和 pass@k 性能饱和
📌 工作参考价值（4 点）
- 监控 pass@k 与多样性指标：在电商文案生成、搜索查询扩展等实际 LLM 应用中，若使用在线自蒸馏（如 SDPO、SDFT），必须同时监控 distinct-n、pass@k 等指标，避免模型陷入单一高置信模式，失去从多样生成中获益的可能。
- 引入多样性正则化或温度调节：可在自蒸馏损失中加入基于熵的正则项，或适当调高采样温度，以保持策略的概率质量不过度集中，有助于在推荐理由生成、对话式推荐等场景保留多样性。
- Agent 规划中慎用纯自蒸馏微调：在需要多种推理路径或工具调用策略的 Agent 系统中，单纯依赖在线自蒸馏可能导致策略趋同，降低对分布外场景的适应力；可结合 RL 或增加策略蒸馏的多样性约束。
- 用互信息视角诊断模式坍塌：论文给出的理论工具——条件互信息倾斜——可用于分析其他蒸馏范式下的多样性损失，为设计新的训练算法提供方向。
OPID：面向智能体强化学习的在策略技能蒸馏
🧭 Agent 强化学习 · 技能蒸馏 ★ 深度解读
Tsinghua University · Zhejiang University · The Chinese University of Hong Kong · Nanyang Technological University · Tongji University
从在策略轨迹中提取分层后见技能并蒸馏回政策，为多步智能体提供稠密信号，无需外部技能库
📌 工作参考价值（4 点）
- 在构建多步交互的购物助手或搜索Agent时，可直接利用完整对话轨迹自动提取工作流与关键决策技能（如定位商品、处理售后），用于后续训练，无需额外人工标注或外部技能库。
- 关键优先路由（critical-first routing）可以为长对话推荐系统提供细粒度强化：当用户处于尺寸选择、支付等关键步骤时使用步级技能，其他状态使用全局工作流技能，避免简单拼接带来的相互干扰。
- 训练过程中技能蒸馏仅依赖历史轨迹和旧策略的重打分，推理时不引入任何额外模块（检索、分析器），适合线上低延迟部署。
- 该方法可与现有RL训练流程（如GRPO）直接结合，增强样本效率，特别适合小模型或数据稀缺的推荐/Agent场景：仅用60%的交互数据就能达到全量数据的结果水平。
重新思考奖励监督：基于评分标准的自蒸馏
🧭 训练方法 · 评分标准自蒸馏
Yale University
用评分标准作为细粒度反馈，将准则级条件转化为 token 级指导，提升推理模型训练效果。
📌 工作参考价值（4 点）
- 用评分标准替代标量奖励：在 Agent 推理训练中，可以定义类似评分标准（如正确性、连贯性、步骤完整性）作为细粒度反馈，让模型明确改进方向，避免传统 RL 的稀疏信号问题。
- 两阶段训练可复用：先训练一个评分标准生成模型，再用于指导主任务推理，这种分离设计在推荐解释、多步决策等需要可解释反馈的场景中可直接借鉴。
- 自蒸馏减少标注依赖：利用模型自身采样轨迹进行 token 级指导，无需高质量 chain-of-thought 人工标注，适合电商/推荐系统中快速迭代模型。
- 细粒度信用分配提升效果：在多个基准上平均领先 GRPO 1.0 点，表明 token 级奖励比结果级奖励更有效，可尝试将类似机制引入推荐 Agent 的策略优化中。
从自身错误中学习：构建可学习的微反思轨迹用于自我蒸馏
🧭 LLM 自我蒸馏 · 轨迹增强
Qwen Business Unit of Alibaba · Tsinghua University · Peking University
通过修正模型自身的错误轨迹并插入自然语言诊断，将自我蒸馏从分布对齐升级为显式轨迹构造。
📌 工作参考价值（4 点）
- 电商/广告场景中若用 LLM 生成推荐理由或解释，可借鉴 TAPO 对比式轨迹构建：收集模型自身的正确与错误回复，在失败点插入反思诊断，形成新的微调样本，提升解释准确性与错误恢复能力。
- 对于搜索意图理解等推理链路长且容易出错的任务，可利用难度感知筛选，只在高能力边界的样本上构造反思轨迹，避免简单样本浪费训练资源，并保持 on-policy 分布。
- 解耦优势估计的技巧可迁移至多策略混合训练中，防止不同难度或不同来源轨迹间的梯度互相干扰，改善训练的稳定性。
- 工程实现上，TAPO 无需外部更强模型参与，完全依赖模型自身的采样群组，适合在闭环推荐系统中持续自我优化，降低人工标注与模型蒸馏成本。
基于分布式DAgger的丰富反馈强化学习方法
🧭 LLM强化训练 · 自蒸馏信用分配 ★ 深度解读
University of Southern California
提出DistIL，用前向交叉熵代替反向KL，实现单调策略改进与未来感知信用分配，在科学推理、编码和数学难题上超越现有自蒸馏方法。
📌 工作参考价值（4 点）
- 用前向交叉熵替代反向KL做策略蒸馏：在电商Agent或推荐策略自蒸馏中，反向KL可能因对数比加权而抑制某些有效行为，改用前向交叉熵能直接向教师方向移动，获得单调改进保证，训练更稳定。
- 未来感知的序列级信用分配：拒绝局部token-wise梯度近似，保留对未来状态的梯度传播，可让Agent的早期决策（如对话策略中的首轮动作）得到准确的延迟奖励信号，避免收敛到次优策略，适用于多轮对话或推荐序列优化。
- 黑盒教师兼容的样本估计：DistIL只需从教师采样即可估计梯度，无需教师概率，方便利用外部黑盒模型、人工专家或带反馈的推理痕迹，在电商场景中可直接用用户行为日志或工具反馈来蒸馏策略，降低对教师内部结构的依赖。
- 奖励对齐的下界优化解释：前向交叉熵目标可被视为最大化教师加权的成功对数似然下界，直接提升Pass@N，这一视角可用于推荐系统的列表级评估优化，比如在生成式推荐中提升Top-K准确率。
Search-E1：自蒸馏驱动搜索增强推理的自进化
🧭 搜索增强推理 Agent 自进化训练 ★ 深度解读
通过交替 GRPO 与离线自蒸馏，从同一问题的正负轨迹对中提取 token 级监督，无需外部教师或奖励模型
📌 工作参考价值（4 点）
- 从轨迹对中生成 token 级细粒度信号：在搜索、对话等多步 Agent 训练中，正例轨迹的某一步往往比负例轨迹的对应步更优。可以用离线自蒸馏从正负轨迹对中学习 step-wise 差异，无需额外训练过程奖励模型，降低工程成本。
- GRPO 与自蒸馏交替训练，避免干扰在线探索：Search-E1 的离线自蒸馏轮次完全独立于 GRPO 的 rollout 采样，不改变 RL 的训练动态，可以作为现有 GRPO 训练流程的插件式增强，适用于电商搜索、推荐等场景中逐步提升 agent 的决策粒度。
- 利用同一模型的 privileged context 进行知识蒸馏：将更优轨迹作为 prompt 前缀送入同一模型，让学生分布逼近教师分布，不需额外存储或调用外部模型，适合线上模型迭代。
- 多轮自进化循环，适合持续优化：随着训练的进行，可以从日益稳定的 rollout 池中挖掘新的 pair 持续进行自蒸馏，适合推荐系统或搜索 Agent 在用户反馈闭环中在线持续学习。
CEPO：基于对比证据策略优化的强化学习自蒸馏方法
🧭 强化学习验证奖励 · 对比证据信用分配 ★ 深度解读
MBZUAI · Linköping University · Australian National University
用正确与错误答案的对比信号锐化token级信用分配，保留安全保证并显著提升多模态数学推理
📌 工作参考价值（4 点）
- 在Agent多步决策或生成式推荐推理链中，可借鉴CEPO对比正确与错误示例，自动识别并放大关键决策token的梯度，抑制填充词干扰，提升训练效率和推理质量。
- 负参考直接从已采样的错误rollouts中提取答案，无需额外采样成本，适合在线RL训练，可直接迁移到电商对话Agent或推荐解释生成中的reward shaping。
- CEPO的stop-gradient和方向锚定设计避免了因引入特权信息（如最终答案）而导致的信息泄漏和训练崩溃，为在线自蒸馏提供安全的模板，适用于任何依赖最终正确标签的序列级强化学习场景。
- 超参数（λ线性衰减与ε_w裁剪）表现出强鲁棒性，且对比信号集中出现在关键推理步，可解释性强，有利于在业务中监控和调试信用分配质量。
HINT-SD：面向长程智能体的目标化后见自蒸馏
🧭 长程 Agent 后训练 · 目标化后见蒸馏 ★ 深度解读
KAIST · DeepAuto.ai
通过选择失败相关动作进行自蒸馏，在不损失效率的前提下为长程 LLM Agent 提供精准过程监督
📌 工作参考价值（4 点）
- 选择性过程监督：长程 Agent RL 训练中不要均匀地对所有步骤蒸馏反馈。先用策略自身对失败轨迹进行后见分析（Hindsight Analyzer），仅挑选出导致失败的关键步骤，再对这些步骤进行带反馈的自蒸馏，避免大量正确或无关步骤的噪声更新。在电商购物助手、多轮工具调用等场景中，可直接复刻“复盘→定位错误→精准纠正”的范式。
- 反馈放置的时机很关键：实验表明，将纠正反馈插入到发生错误的动作之前（而非整个轨迹的开头），教师与学生的上下文分布更匹配，纠正效果明显更好。在实施反馈条件蒸馏时，应将反馈准确地放置在相关步骤的上下文中，避免因前缀不同导致分布错位。
- 自蒸馏作为本地化的教师：无需外部大模型，训练中的 EMA 策略本身即可充当反馈生成器，节省成本。这在资源有限的场景（如在自有模型上持续训练 Agent）中尤为实用，可作为一个轻量、自包含的在线蒸馏组件集成进训练流程。
- 效率启发：选择性蒸馏大幅缩短训练步时和显存消耗（2.26× 步时降低，1.48× 显存降低）。对于需要批量处理大量长对话的推荐 / Agent 系统，采用“先判断哪些步骤需要学习”的策略可显著提升迭代效率和资源利用率。
SD-Search：策略事后自蒸馏实现搜索增强推理的步骤级监督
🧭 搜索增强推理 · 事后自蒸馏 ★ 深度解读
Kuaishou Technology
提出事后自蒸馏框架，从策略自身获取搜索步骤的细粒度监督，无需外部教师或额外标注
📌 工作参考价值（4 点）
- 从策略自身挖掘步骤级信号：同一模型在训练时分别以“学生”（仅推理时上下文）和“教师”（额外看见同组滚动的事后摘要）两种视角运行，用分布匹配提取各搜索决策的细粒度反馈，无需外部教师或昂贵标注。可在推荐 Agent 的多步交互中复用，对关键决策步骤（如召回、重排）施加 token 级自蒸馏。
- 事后信息块的精巧设计：通过屏蔽答案和思考内容、保留查询与二元结果标签（CORRECT/INCORRECT）构建对比，迫使教师隐含地评价哪些查询值得执行。在对话或推荐 Agent 中，可用历史动作和成功/失败标签构建类似的事后上下文，强化正向动作模式。
- Jensen-Shannon 散度替代 KL 或 MSE：对称、有界的 JSD 比 forward KL（强迫覆盖所有模式）或 reverse KL（过早坍塌到单一模式）更稳定，且对 top-k 截断不敏感，适合 token 级分布对齐。可用于任何需要软目标匹配的生成任务，如生成式推荐中的语义 ID 蒸馏。
- 无额外推理开销的 RL 融合：自蒸馏仅增加一次辅助前向和损失项，不修改奖励或优势计算，训练耗时仅增 15.5%，推理完全不变。低成本地提升了多跳问答的查询质量，而不增加搜索次数，对线上 Agent 服务的效率优化有启发。
后训练MoE可通过自蒸馏跳过半数专家
🧭 动态MoE推理加速 · 自蒸馏适配 ★ 深度解读
Tsinghua University · Shanghai AI Lab · WeChat AI · Kuaishou Technology · Frontis.AI
注入零输出专家并两阶段自蒸馏，将静态MoE转为动态，消减超50%专家计算且精度损失极小
📌 工作参考价值（4 点）
- 部署加速：已在线服务的 MoE 模型可直接注入零专家并通过自蒸馏转为动态路由，无需重新预训练，降低推理 FLOPs 和耗时，适合电商对话、Agent 等对延迟敏感的场景。
- 稳定迁移：组级辅助损失（L_GA）仅在普通专家与零专家组之间施加平衡，保留原模型内部路由分布，避免能力坍塌，这一 trick 可复用于其他需要引入“跳过”选项的 MoE 微调。
- 蒸馏策略：SFT + OPD 的两阶段设计先驯化路由再对齐分布，比单阶段更稳定；OPD 使用学生自身 rollout 并由教师提供 token 级目标，缩小训练-推理分布差异。
- 计算分配信号：零专家激活率与师生 logp 差、模型熵高度相关，而与任务难度解耦，可据此设计基于置信度的动态推理策略。
互补自蒸馏：让 LLM 兼顾任务效用与上下文隐私完整性
🧭 LLM Agent 隐私对齐 · 互补自蒸馏
KAIST · DeepAuto.ai
提出 SELFCI 互补自蒸馏框架，用双教师乘积专家目标解耦隐私保护与任务效用，无需外部监督。
📌 工作参考价值（4 点）
- 解耦多目标优化：将隐私和效用分为两个独立教师信号，各自用逆 KL 散度逼近，最后通过乘积专家（PoE）组合目标，避免单一奖励信号冲突，可直接用于电商推荐中同时优化准确性、多样性、隐私等多目标。
- 无需外部标注的自蒸馏：完全基于模型自身反馈生成教师分布，省去昂贵人工标注，适合快速迭代；在隐私合规检查场景（如智能客服处理用户敏感信息）可快速部署尝试。
- 乘积专家集成方式：将两个甚至多个专家分布相乘得到对齐目标，提供了一种灵活的多目标集成方法，可推广到生成式推荐中组合协同过滤与内容过滤需求。
- 验证了 Agent 工作流泛化性：在涉及多步交互和累积隐私上下文的 Agent 场景中效果稳定，表明该方法可迁移到电商对话代理的长期隐私管理，如用户多轮对话中分层次披露地址、购买记录等。
CLOVER：面向端到端自动驾驶规划的闭环价值估计与排序
🧭 端到端自动驾驶规划 · 闭环价值估计
University of Science and Technology of China · Tsinghua University · Beihang University
闭环价值估计与排名框架，通过生成-打分自蒸馏解决训练评估不匹配，在NAVSIM达94.5 PDMS新SOTA
📌 工作参考价值（4 点）
- 在推荐或Agent动作生成中，可借鉴“生成-打分”闭环自蒸馏：用业务规则（如CTR、合规性）过滤生成候选，构建伪专家样本，提升生成器对真实评估指标的覆盖。
- 打分器直接预测多维业务指标子分数（如转化率、GMV、停留时长），代替单一价值模型，实现多目标可解释排序，且便于在线调整权重。
- 采用保守更新与稳定性正则，防止生成器在弱监督下过拟合；仅当打分器选择的目标在真实评估下统计显著优于当前策略时才更新，降低风险。
- 理论分析不完美打分器的改善条件，可推广至电商推荐中打分模型存在噪声时，如何判断是否进行策略迭代，提升在线安全性。
停止过度思考：以最简推理解锁高效列表重排序
🧭 RAG ★ 深度解读
Beijing Institute of Technology
提出长度正则化自蒸馏，剪枝冗余推理，在保持排序效果的同时减少 34–37% 的推理 token
通过变分策略蒸馏从语言反馈中学习
🧭 LLM ★ 深度解读
Salesforce AI Research
将语言反馈学习形式化为变分EM，通过教师与学生的协进化蒸馏持续提升推理性能
自蒸馏智能体强化学习：门控辅助蒸馏稳定多轮训练
🧭 Agent ★ 深度解读
Zhejiang University · Meituan · Tsinghua University
SDAR 用 token 级 sigmoid 门控自适应调节 OPSD 信号，保持 RL 主导并稳定提升多轮智能体性能
用于LLM推理自蒸馏的自适应教师暴露
🧭 LLM ★ 深度解读
ByteDance
提出自适应教师暴露控制（ATESD），将教师所见的特权推理长度变为可学习变量，解决教师侧暴露不匹配问题