Bridged Self-Distillation for On-Policy Learning
桥接自蒸馏用于在线策略学习
🧭 蒸馏训练 · On-Policy 推理蒸馏
Technical University of Munich · LMU Munich · Munich Center for Machine Learning (MCML)
提出 Bridged Self-Distillation 统一框架，用教师推理轨迹作特权上下文，通过自教师与 verifier 实现在线策略蒸馏，适用于任意教师场景
📌 工作参考价值（3 点）
- 蒸馏大模型用于业务中的 query 生成、推荐解释、Agent 规划时，若教师是开 API 或分词器不同，可直接采用 BSD：教师只输出推理文本作为上下文，学生自我蒸馏，省去 logits 对齐和词汇映射。
- 用业务 verifier（点击率、转化率、规则满足等）作为结果信号，结合在线策略样本只对失败 rollout 施加 token 级修正，可训练出更贴合业务目标的小模型。
- 特权上下文技巧可迁移：训练时给模型额外的推理线索或高质量解释，推理时不暴露，类似推荐中训练时使用详细的用户行为解释，部署时只用原始特征，可有效提升小模型能力。