One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation
一个症状，三个杠杆：在策略自蒸馏批判性综述
🧭 LLM 训练 · 在策略自蒸馏
OVHai LLM
系统化梳理OPSD的坍缩失败模式，提出信号位置、特权信息、动态衰减三杠杆框架
📌 工作参考价值（4 点）
- 若用 OPSD 微调生成式推荐/搜索 Agent（如 query 改写、商品文案生成），可用模型自身作 teacher 并注入业务侧特权信息（用户真实意图、最终成交商品），但必须监控生成多样性（熵、n-gram 新颖度）以防坍缩。
- 借鉴三个杠杆做训练设计：where——损失只加权关键 token（如最终答案/决策 token）而非全序列平均；what——teacher 的特权信息粒度要渐进揭示，避免过度强条件导致模型只学会抄捷径；when——蒸馏信号随训练衰减，后期保持与 base policy 的 KL 约束。
- 对 Agent 搜索/推荐，坍缩类比于动作空间收窄：训练时环境反馈或 oracle 路径会诱导窄策略，需加入熵正则或行为多样性约束。
- 没有新实验，但提供统一术语与诊断清单，适合作为生产 LLM 微调前的风险自查。