弱化以强化：面向大型推理模型的弱化诱导在线策略自蒸馏
🧭 LLM 推理模型自蒸馏训练
Massachusetts Institute of Technology · NVIDIA
通过量化/剪枝构造弱化模型，利用强弱对比信号进行在线策略自蒸馏，无需外部教师
📌 工作参考价值（4 点）
- 在没有更强教师或外部标注时，可对内部 LLM（商品推荐文案、Agent 规划、搜索 query 改写）做“弱化自蒸馏”：将线上模型做低比特量化或幅度剪枝得到弱版，用同批 on-policy 轨迹的强弱概率差/输出对比做 token 级信号，无需人工标注或大模型 API。
- 剪枝版弱模型比量化版提升更明显（+5.5 vs +4.0），在算力有限时优先 magnitude pruning 作为弱化教师；但剪枝需调稀疏度，注意训练稳定性。
- 该方法可嵌入现有 post-training pipeline：用业务真实 unlabeled prompts 跑 on-policy rollout，收集模型自身错误中间步骤，再与弱化模型对比，重点修复推理链偏离，适合 Agent 工具调用/多步推荐逻辑的 RL 后训练。
- 需要验证弱化模型不能太弱，否则对比信号噪声大；建议按任务难度与模型规模调整量化位数/剪枝比例，先小规模消融。
Experience Funnel：自进化智能体的状态-策略交替循环
🧭 自进化 Agent 状态-策略交替蒸馏 ★ 深度解读
The Hong Kong Polytechnic University · Huawei · Renmin University of China
用状态-策略交替循环把显式经验渐进蒸馏进参数策略，同时保留快速可编辑状态
📌 工作参考价值（4 点）
- 把线上 Agent 的 prompt/skill 显式状态与模型参数策略拆成两层：先用 held-out 验证门控快速更新 skill，再离线周期把反复有用的 skill 蒸馏进小模型，降低线上 context 长度和推理成本。
- 用三态对比（state-free / previous-state / updated-state）挑选要固化的样本，只保留 newly useful 和 persistently useful 轨迹，避免把噪声或模型已会的行为蒸馏进参数；电商导购/客服 Agent 可用点击、转化等 reward 做类似增量过滤。
- 做 token-level 归因蒸馏：用有状态/无状态两路概率的 JSD 定位真正被 skill 改变的 token，只给这些位置更高权重，比整条轨迹均匀蒸馏更数据高效，适合把大模型教师或 prompt 增益迁移到在线小模型。
- 固化后的策略仍需保留少量 residual state 才能拿到最大值，说明显式信息不能一次性全部内化；实践中应保留轻量 state/skill，待下一轮验证后再决定淘汰或更新。
无监督在策略自蒸馏：仅依赖模型自身一致性
🧭 无监督自蒸馏 · 内部一致性 ★ 深度解读
UC San Diego · Georgia Institute of Technology · University of Maryland, College Park · ByteDance
用模型多路采样投票伪标签实现对未标注数据的高效在策略自蒸馏，在数学推理上超越有监督方法
📌 工作参考价值（4 点）
- 无标签场景自蒸馏：当推荐/搜索/Agent 场景缺乏标注反馈时，可利用同一请求的多路生成投票一致性构建伪标签，驱动模型自我改进，减少对人工标注的依赖。
- 不一致轨迹定向蒸馏：通过对模型输出不一致的样本进行集中蒸馏，定位并修正模型易错/混淆区域，类似推荐中利用用户反馈不确定性进行针对性优化。
- 蒸馏散度选择：Forward KL 显著优于反向 KL 或 JSD，可作为推荐模型知识蒸馏时的默认选择；教师模型使用 EMA 更新（衰减 0.995）比冻结更稳定，可参考用于在线蒸馏。
- 完整性要求：蒸馏必须使用完整推理轨迹而非仅最终答案，提示在生成式推荐（如商品文案）中保留完整生成过程作为教师信号更有效。
CADENCE：通过覆盖自适应在策略蒸馏弥合推理差距
🧭 LLM 推理蒸馏 · 在策略蒸馏
用覆盖自适应调度、分叉提升与稠密奖励等六个组件，在单台 Mac 上将 0.5B 学生推理提升 21%+
📌 工作参考价值（4 点）
- DRIFT 与 COVA 的 token 级前向-反向 KL 切换：可迁移到业务小模型蒸馏，避免初期学生概率崩溃；在电商搜索 query 改写或推荐理由生成中，当学生模型输出分布与教师差距大时，可借鉴覆盖自适应的 β 调度，从 reverse-KL 逐步过渡到 forward-KL。
- FTB（分叉 token 提升）：利用高熵 token 位置作为关键“决策点”集中梯度，类似在推荐 Agent 的推理链中，对不确定性高的步骤（如商品属性对比）加强学习信号，提升推理可靠性。
- CCD 稠密奖励与部分正确反馈：将二元对错信号替换为数值相似度部分奖励，适合电商场景中候选商品排序或价格合理性判断等非严格 0/1 任务，可提高训练效率。
- 全在策略、单机可跑：蒸馏全程无需数据中心级别资源，64GB 统一内存的 Mac Studio 即可完成，适合中小团队快速迭代推理模型。
信任区域策略蒸馏
🧭 信任区域蒸馏训练范式
Hong Kong University of Science and Technology (Guangzhou) · Microsoft · Xingyun Zhili
动态构建近端教师将在线策略蒸馏转化为稳定训练，理论保证梯度方差控制且零额外开销
📌 工作参考价值（4 点）
- 推荐系统的强化学习训练（如对话推荐）可借鉴：用当前学生策略与目标教师策略的移动平均构造近端教师，替代固定教师监督，缓解梯度方差，提升训练稳定性，无需额外推理开销。
- 蒸馏时引入信任区域约束，避免学生一次性追随强教师导致的剧烈更新，相当于在策略空间上做平滑，可防止训练崩溃。
- 理论部分提供单调改进界，在电商/广告场景中对风险敏感的策略优化（如出价策略、排序策略）有直接指导意义，确保迭代更新不会损害累积收益。
- 零额外计算量的特点适合工业级大规模在线蒸馏，可参考其动态混合系数的简单实现，快速落地到现有 teacher-student 框架。
基于神经元感知的无标注自蒸馏数据选择方法
🧭 无标注LLM自蒸馏与数据选择
University of Pittsburgh
通过神经元激活筛选无标注数据和构造上下文，实现无监督LLM自蒸馏，提升领域性能且保持泛化
📌 工作参考价值（4 点）
- 可利用神经元激活计数筛选模型易答对的未标注样本进行自训练，降低电商/推荐领域高质量标注依赖。
- 通过神经元激活重叠度检索少样本上下文构造教师提示，提升伪标签质量，可借鉴到LLM生成式推荐的教师模型构建。
- 采用逆向KL蒸馏 + EMA教师稳定训练，避免校准崩塌，适合需校准概率的推荐场景（如CTR预估）。
- 纯离线、无奖励信号的迭代框架，适合无在线交互的广告/搜索系统日志后训练。
越密集不等于越好：持续后训练中同策略自蒸馏的局限性
🧭 持续学习 · 自蒸馏 vs RL 优化
Centre for Artificial Intelligence and Robotics, HKISI, CAS · Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Nanjing University of Science and Technology
同策略自蒸馏在持续后训练中会加剧遗忘甚至崩溃，而GRPO等保守RL方法更稳健
📌 工作参考价值（4 点）
- 持续更新模型时避免密集自蒸馏：在电商搜索推荐场景，如果用LLM持续学习新品类或新意图，采用SDPO等密集自蒸馏会显著遗忘旧知识，应改用GRPO等更保守的on-policy RL方法。
- 监控参数与响应漂移：自蒸馏会导致更大的参数空间和输出分布漂移，可设置漂移阈值，一旦检测到骤变即回滚或降低学习率。
- 警惕格式退化：自蒸馏的token级监督会通过自我强化循环放大高频格式伪影（如固定模板、重复短语），在生成推荐理由或广告文案时易导致风格单一化，可引入多样性约束或温度调节。
- 同策略数据非万能：不要以为只用当前策略生成的数据就能稳定持续学习，需要结合重放缓冲或正则化手段保持旧任务能力。
带采样示例的在线策略自蒸馏降低输出多样性
🧭 LLM 训练 · 自蒸馏与多样性偏差
揭示在线自蒸馏因条件于采样示例而放大模型偏差，导致输出多样性锐减和 pass@k 性能饱和
📌 工作参考价值（4 点）
- 监控 pass@k 与多样性指标：在电商文案生成、搜索查询扩展等实际 LLM 应用中，若使用在线自蒸馏（如 SDPO、SDFT），必须同时监控 distinct-n、pass@k 等指标，避免模型陷入单一高置信模式，失去从多样生成中获益的可能。
- 引入多样性正则化或温度调节：可在自蒸馏损失中加入基于熵的正则项，或适当调高采样温度，以保持策略的概率质量不过度集中，有助于在推荐理由生成、对话式推荐等场景保留多样性。
- Agent 规划中慎用纯自蒸馏微调：在需要多种推理路径或工具调用策略的 Agent 系统中，单纯依赖在线自蒸馏可能导致策略趋同，降低对分布外场景的适应力；可结合 RL 或增加策略蒸馏的多样性约束。
- 用互信息视角诊断模式坍塌：论文给出的理论工具——条件互信息倾斜——可用于分析其他蒸馏范式下的多样性损失，为设计新的训练算法提供方向。
自蒸馏智能体强化学习：门控辅助蒸馏稳定多轮训练
🧭 Agent ★ 深度解读
Zhejiang University · Meituan · Tsinghua University
SDAR 用 token 级 sigmoid 门控自适应调节 OPSD 信号，保持 RL 主导并稳定提升多轮智能体性能