Dr. OPD: Learning What to Follow for Optimal On-Policy Distillation of Large Language Models
Dr. OPD：学习该跟随哪些教师信号的最优在线蒸馏
🧭 On-policy distillation 自适应 token 加权 ★ 深度解读
Rutgers University
通过双层优化学习 token 级教师信号权重，使学生在在线蒸馏中以 outcome reward 为准则超越教师
📌 工作参考价值（4 点）
- 在蒸馏生成式物品/query 模型时，不要平均地模仿 teacher 的所有 token，可以用 outcome reward（如点击、转化、生成质量分）与 teacher correction 的梯度对齐来给 token 加权。闭式更新 weight = clip(1 + λ * credit, w_min, w_max) 实现简单，λ 在 0.2-0.6 内不敏感，适合线上快速调参。
- 工程上，credit 的计算不需要为每个 token 显式保存参数梯度，用一次 JVP 即可得到所有 token 的方向导数，开销很小；可直接在现有 GRPO/PPO 框架里加一个 JVP + 权重重算步骤，且可以复用 actor optimizer 的二阶矩做 scaling，稳定训练。
- 在业务 LLM 微调中，当 teacher 比 student 强但 reward 信号存在（如 search 中用户点击、query 改写后的检索指标），可先蒸馏后加 reward 加权，可能让 1.7B 小模型超过 4B 教师；对于 base 模型冷启动，若 reward 成功样本太少，提升有限，需要先保证一定的成功 rollout 比例或使用更简单训练子集。
- 可复用的结论：不是所有教师监督都有用，遵循“有利于 reward 的教师信号”才提升业务指标；在 OPD 基础上融合 outcome reward 的方式很重要，简单加 GRPO 或 gate 可能只带来 marginal gains，梯度对齐的 token-level 加权是关键。