On-Policy Self-Distillation without Any Supervision
无监督在策略自蒸馏：仅依赖模型自身一致性
🧭 无监督自蒸馏 · 内部一致性 ★ 深度解读
UC San Diego · Georgia Institute of Technology · University of Maryland, College Park · ByteDance
用模型多路采样投票伪标签实现对未标注数据的高效在策略自蒸馏，在数学推理上超越有监督方法
📌 工作参考价值（4 点）
- 无标签场景自蒸馏：当推荐/搜索/Agent 场景缺乏标注反馈时，可利用同一请求的多路生成投票一致性构建伪标签，驱动模型自我改进，减少对人工标注的依赖。
- 不一致轨迹定向蒸馏：通过对模型输出不一致的样本进行集中蒸馏，定位并修正模型易错/混淆区域，类似推荐中利用用户反馈不确定性进行针对性优化。
- 蒸馏散度选择：Forward KL 显著优于反向 KL 或 JSD，可作为推荐模型知识蒸馏时的默认选择；教师模型使用 EMA 更新（衰减 0.995）比冻结更稳定，可参考用于在线蒸馏。
- 完整性要求：蒸馏必须使用完整推理轨迹而非仅最终答案，提示在生成式推荐（如商品文案）中保留完整生成过程作为教师信号更有效。