PIVOT：通过在线教师纠正进行渐进式干预
🧭 强化学习训练 · 在线教师干预
University of Chinese Academy of Sciences · Tsinghua University · Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences · School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences
在RLVR中插入教师纠正轨迹并施加token级KL监督，大幅提升困难推理任务的学习效率与最终表现
📌 工作参考价值（4 点）
- 在电商/Agent多步决策任务中，RLVR常因稀疏奖励（最终是否成交、任务是否完成）而训练低效；可引入教师模型（如GPT-4/内部大模型）在失败轨迹上在线生成修正步骤，并把这些修正插入学生rollout，只对插入段做token级KL蒸馏，避免整条轨迹过度依赖教师导致不可学。
- 当一组rollout全部失败时，结果奖励无梯度；可借鉴PIVOT的双重信号：先通过轨迹级干预保证至少部分轨迹包含正确片段，再对教师段做密集token级监督，这适合电商智能客服、商品推荐对话等场景中“用户不满意”的负样本利用。
- 论文的消融表明，干预位置（如失败点附近）和KL监督范围（仅教师段vs全轨迹）对最终性能影响显著；在业务中可先小规模网格搜索这些超参数，避免教师信号过强导致学生退化为模仿教师，丧失RLVR的探索收益。
- 若已有线上强模型可作为教师，PIVOT的在线纠正成本可控，适合将弱模型（部署端）通过RLVR+教师干预进行蒸馏式增强，用于推荐解释生成、搜索query改写等轻量生成任务。
上下文匹配蒸馏：面向自回归视频蒸馏的教师因果性
🧭 视频生成蒸馏 · 因果对齐
NVIDIA · University of Surrey
提出因果蒸馏框架 CMD，对齐教师评分与学生生成时的因果信息集，提升自回归视频生成控制精度
📌 工作参考价值（4 点）
- 因果对齐的蒸馏思想可迁移到序列生成模型（如自回归推荐、对话式 Agent）：教师评分时应只使用学生生成该 token 时已见到的历史与上下文，避免未来信息泄露造成训练-推理不一致。
- Prefix Scoring 用学生实际生成的前缀（而非真实前缀）让教师评估当前 token，这类似于 NLP 中的 on-policy 蒸馏，可借鉴到基于 LLM 的序列推荐或搜索 query 生成中，以缓解 exposure bias。
- Prefix Corruption 通过对早期不可靠前缀加扰动来稳定训练，可应用于 RLHF 或蒸馏框架中处理训练初期策略不稳定问题，尤其在实时交互式生成场景（如直播电商文案、动态广告素材生成）有价值。
- 论文主要面向视频生成，与电商/推荐直接业务关联有限，但其中的低延迟自回归生成 + 在线控制思想，对需要实时响应的交互式推荐系统（如对话推荐、动态出价策略）有架构参考意义。
SKILL-KD：通过对比式技能蒸馏增强冻结的LLM Agent
🧭 Agent 技能蒸馏与知识迁移 ★ 深度解读
State Key Lab of CAD&CG, Zhejiang University · School of Software Technology, Zhejiang University · School of Software and Microelectronics, Peking University · Alibaba Group
将教师-学生行为差异蒸馏为可验证文本技能补丁，结合漂移感知整合维护紧凑技能库
📌 工作参考价值（4 点）
- 电商多Agent系统的技能迁移：可以用强模型（如GPT-5.5）为弱模型（本地部署小模型）自动生成技能补丁，直接注入prompt，无需微调权重，适合快速适配不同业务场景的规则变化。
- 技能库的长期维护与防漂移：维护编辑历史并追溯每次修改的原始轨迹证据，避免因局部修复导致规则冗余、冲突或退化，对管理推荐策略中的业务规则（如促销匹配、文案生成规则）有直接参考价值。
- 自适应验证确保技能可靠：每个生成的技能补丁需在学生的实际执行中验证有效性，失败则迭代修订，直到行为改变。这种闭环验证思路可借鉴到生成式推荐中，用于自动评估和修正推荐话术或策略模板。
- 同异架构模型间蒸馏不依赖内部表征：蒸馏介质为自然语言技能文本，跨模型系列（如Qwen到ChatGPT）依然有效，适合在联盟/广告主侧不同模型间传递专家知识。
自适应 FastOPD：基于学习进展感知的 rollout horizon 扩展, 实现高效 on-policy 蒸馏
🧭 On-Policy Distillation 自适应 rollout 调度 ★ 深度解读
University of Science and Technology of China · Shanghai Artificial Intelligence Laboratory · Shanghai Jiao Tong University
通过监测 OPD 训练进度并仅在边界区域进展停滞且充分利用当前长度时扩展 rollout horizon，自适应加速训练达 71.2% 并保持最优性能。
📌 工作参考价值（4 点）
- 动态调度生成/推理长度：在电商推荐或 Agent 在线采样中，批量内响应长度差异大，长尾拖慢整体。可借鉴自适应扩展机制，根据学习收敛信号（而非固定步数）动态决定是否增加采样长度，避免无效计算。
- 多信号融合监测训练进展：用 top-k 重叠、概率质量、共享贪婪优势、非共享惩罚四个互补信号归一化后取最大值，比单信号更鲁棒地判断当前阶段是否收敛，可应用于推荐模型的强化学习微调中，避免单一指标过早触发策略更新。
- 长度利用率门控过滤长尾：仅当足够比例样本到达当前 horizon 或边界时才扩展，防止少数超长响应主导批次时间。推荐系统中生成式召回的序列长度、对话 Agent 的多轮交互深度均可采用类似门控，减少 straggler 影响。
- 相对基线的归一化：不对原始 teacher-student 一致信号设绝对阈值，而是以刚进入当前 horizon 时的值为基线，计算相对改进幅度。这种自参照设计可迁移到任何动态阶段训练任务，使超参数对模型和数据更稳健。
MindForge：通过无源码程序合成教授小模型全周期软件工程
🧭 LLM 训练 · 程序合成 · 教师蒸馏
Huawei Canada · Queen's University · University of Manitoba
自动化将开源命令行程序转为无源码训练环境，用教师轨迹微调小模型，使编程从零构建性能大幅提升
📌 工作参考价值（4 点）
- 可借鉴其自动构建仅暴露接口和文档的无源码沙箱的方法，为推荐系统 Agent 生成训练环境，例如基于推荐 API 文档和模拟用户行为合成决策轨迹。
- 使用大模型作为教师生成高质量全生命周期交互轨迹，再微调小模型，这种蒸馏范式可直接用于将复杂推荐策略（召回、排序、重排）压缩为小型 Agent 模型，降低线上延迟。
- 训练数据覆盖需求分析、设计、实现、测试多阶段，对推荐 Agent 训练有启发：可设计从用户画像分析、策略设计到配置、离线评估的完整任务流，提升模型全局优化能力。
- 从与测试集不重合的仓库构建环境，泛化性提升显著，业务中可用多样化历史推荐场景构造合成数据，微调模型以应对未见过的运营需求或算法变更。
揭秘 On-Policy 蒸馏：角色、病理与调控
🧭 LLM 训练 · On-Policy 知识蒸馏
The Chinese University of Hong Kong · Tencent AI Lab
系统分析 OPD 作为探索催化剂的两大病理（师生失配与长度剥削），并提出简易信号调控予以克服
📌 工作参考价值（4 点）
- 蒸馏信号质量比教师规模更关键：在电商搜索/推荐场景蒸馏大模型（如生成式推荐理由、查询词）时，应优先保障 token 级监督信号的准确性，而非盲目使用更大教师模型。
- 防止长度剥削的方法可直接复用：当学生模型通过生成长度作弊（如冗余填充或过早截断）优化时，可引入 advantage clipping 与 log-scale compression 来消除长度相关性，使优化目标重回推理质量，这对生成式推荐、对话 Agent 等任务尤其有效。
- Prompt 多样性优先于单问题采样数量：在构造 OPD 训练数据时，增加样本多样性比增加同一 prompt 的采样次数更能提升探索效率，可指导搜索推荐场景中的指令数据扩增。
- 在推荐 Agent 训练中采用类似信号调控：若使用 OPD 训练基于 LLM 的推荐 Agent 与学生模型，可借鉴本文的轻量级信号修正手段，规避师生不匹配导致的错误引导。
AudioX-Turbo：统一高效的多模态任意转音频生成框架
🧭 多模态音频生成 · 扩散模型蒸馏
The Hong Kong University of Science and Technology · Tsinghua University · Noiz AI · Independent Researcher
通过蒸馏实现统一多模态任意转音频生成，仅4步采样即超越多步基线，速度提升约25倍
📌 工作参考价值（4 点）
- 少步蒸馏方案可迁移：所采用的分布匹配蒸馏（DMD）适配流匹配框架，通过判别器提升少步生成质量，这一思路可直接应用于推荐系统中扩散模型的加速（如物品嵌入生成、语义ID去噪），在保持质量的同时大幅降低推理成本。
- 多模态自适应融合模块值得参考：针对文本、视频、音频等多种条件信号设计的融合机制，可启发电商多模态推荐或Agent中多源输入的对齐与融合设计，提升条件控制的灵活性。
- 数据构建流程可复用：两阶段收集与标注的大规模数据集IF-caps-Pro（约920万样本）构建方法，为构建多模态训练数据提供了工程范式，尤其适用于需要对齐文本与其它模态的场景（如商品文案与图片/视频的配对数据）。
- 判别器在蒸馏中的应用：扩散模型蒸馏中引入扩散基判别器对抗训练，这一技巧可尝试用于生成式推荐中少步采样质量的保真，例如在序列推荐或对话式推荐中加速候选项生成。