Better Starts, Better Ends: Bootstrapped Iterative Self-Reasoning Distillation for Compressed Reasoning
更好的开始，更好的结束：自举迭代自推理蒸馏实现压缩推理
🧭 压缩推理 · 自蒸馏
西安交通大学 · 北京大学
提出 BIRD 两阶段自蒸馏，先引导模型生成简洁推理再在线蒸馏，显著减少推理长度同时提升精度
📌 工作参考价值（4 点）
- 多轮对话或 Agent 推理压缩：两阶段思路可直接迁移——先用简短指令采样高质量响应做 prompt-switch SFT，再上线时用在线蒸馏微调，减少冗长推理 token 消耗
- 搜索/推荐推理链精简：在需要模型生成多步推理（如用户意图分析、长 query 改写）时，用类似方法抑制冗余验证和自我修正，降低延迟
- 蒸馏起始状态优化：避免在噪声前缀上做 KL 蒸馏，先从干净分布启动，再在线策略改进，这对其他在线蒸馏场景（如广告文案生成、商品描述推理）有通用价值
- 长度控制与准确率权衡：简洁预热模型可在不牺牲甚至提升精度下大幅缩短输出，可用于实时性要求高的推荐系统推理节点