Rec-Distill: An Industrial Distillation Pipeline for Large-Scale Recommendation Models
Rec-Distill：面向工业推荐的大规模模型蒸馏框架
🧭 推荐系统 · 知识蒸馏 · 大规模模型压缩
ByteDance AML · ByteDance
解耦式蒸馏框架将大模型（24B参数、20K序列）知识高效迁移至轻量线上模型，迁移率超60%并取得商业收益
📌 工作参考价值
- 解耦式蒸馏推进大模型复用：教师与学生对训练完全解耦，教师持续流式更新并缓存logits，学生异步消费。可参考此“1-to-N”范式，一个大教师同时服务多个小模型（如召回、粗排、精排），显著降低训练成本，实现线上模型不限制实验规模。
- 黑盒蒸馏+loss缩放：使用教师输出logits的交叉熵损失，简单有效，且观察到蒸馏损失尺度比主任务损失小两个数量级时效果差，需通过调大系数α对齐量级。实际部署时可直接采用CE蒸馏，并手动调大α。
- 去偏机制解决样本分布不匹配：教师和学生训练数据采样策略不同导致logits偏差，通过将教师logits用学生侧去偏公式重校正（𝑇2′=𝑓𝑆(𝑇1)），再与学生去偏logits蒸馏，可提点0.1%。电商场景普遍存在采样偏差，该方法可复用。
- 混合批-流式管道保证实时性：批训练阶段用大量数据快速收敛，流式阶段从高速存储读取教师最新logits追加到学生流数据，实现分钟级延迟适应数据分布变化，避免线上掉点。适合实时推荐系统的高频更新需求。
动机：工业推荐系统面临“规模-效率”困境：增大模型（参数、序列长度、数据）能提升效果，但线上推理延迟和成本严格受限。传统蒸馏方法（预训练教师一次性生成数据或联合训练）不适合推荐场景的流式数据分布和迭代速度。需要一种既能持续利用大模型增益，又保持线上轻量模型的高效蒸馏框架。
方法关键点：
- 解耦训练与教师扩展：教师（TokenMixer-Large+LONGER架构）独立流式训练并缓存输出logits，学生异步读取；教师可扩展至24B密集参数、20K行为序列，且可同时服务多个学生。
- 学生模型设计：提出解耦塔结构——主任务塔仅用真实标签训练、保证线上稳定性；辅助塔同时用真实标签和蒸馏损失训练，共享骨干网络，实现风险隔离和表示增强。
- 蒸馏损失：使用教师logits的交叉熵损失（等价KL散度），发现需调整权重α至与主损失同量级以规避梯度消失。
- 去偏机制：针对教师、学生采样策略不同导致的分布错配，将教师logits用学生侧去偏函数重校正后再蒸馏，有效提升迁移率。
- 混合批-流式管道：批训练阶段快速初始化，流式阶段从高速存储读取教师最新logits构建补充数据流，学生持续适应分布变化。
关键结果：
- 在抖音/头条等电商广告、多场景推荐、直播场景中，蒸馏学生模型最大迁移率64%（广告场景），其他场景45%–50%。
- 学生从24B教师蒸馏时迁移率仍达65%；缩放序列长度的增益可传递（迁移率61%）；增加教师数据量后学生无需使用额外数据即获收益。
- 在线A/B测试显示广告GMV+0.62%、订单量+0.68%，推荐场景完播人数+1.27%，直播礼物收入+0.78%等显著商业提升。
- 消融验证：解耦塔比单塔+0.08%AUC；去偏模块贡献+0.10%AUC；流式蒸馏5天后仍能维持+0.10%增益，而纯批训掉点一半。
最值得记住的一句话：通过解耦教师训练、黑盒logits蒸馏与采样去偏，Rec-Distill证明了大规模推荐模型的知识可以超过60%地转移至线上模型，实现不降性能下的高效部署。