Sharpen Without Search: On-Policy Distillation of Sequence-Level Power Distribution
无搜索锐化：序列级幂分布的在线策略蒸馏
🧭 LLM 训练 · 无奖励推理锐化 ★ 深度解读
University of Southern California · Intel AI
OPPD 通过 on-policy 蒸馏把推理时序列级幂分布采样的成本转移到训练阶段，单个生成即可达到或超过 64 候选采样
📌 工作参考价值（4 点）
- 在电商搜索 query 推荐或文案生成中，可以训练模型学习教师模型对完整序列的幂分布，即对完整候选文本（如 query）的概率进行 α 次幂加权，使推理时只需单次生成即可达到近似多个候选采样再加权的效果，大幅降低线上推理延迟。
- 借鉴 on-policy weighted likelihood 训练方式：让待训练模型自己生成候选，用冻结教师（如 LLM）给出概率并计算权重，重点加权学生自身的高概率答案；这比直接蒸馏教师生成样本更贴合实际分布，适用于 Agent 工具调用轨迹或推荐解释文本的训练。
- 工程实现 trick：生成候选时使用教师温度 1/α 的 proposal 降低重要性权重方差，避免权重退化；将长文本分块（例如 64 tokens）让教师一次前向评分，减少调用次数；训练权重与 SMC 重要性权重分别累加，并在重采样后重新归一化。这些都能复用在大规模在线生成任务的稳定训练中。
- 在没有人工偏好或点击信号可用时，可以使用模型自身的序列概率（经由 teacher 锐化）作为软奖励进行训练，提升推理和生成质量；对电商问答、商品推荐理由、营销文案生成等场景可低成本迁移。