GOD: Enhancing Generalization via Deep Grafting for Sequential Recommendation
GOD：通过深度嫁接增强序列推荐泛化
🧭 序列推荐知识蒸馏 · 组件级嫁接 ★ 深度解读
Pohang University of Science and Technology
提出组件级知识蒸馏框架GOD，将学生组件嫁接进冻结教师构造混合源模型，强化序列推荐泛化
📌 工作参考价值（4 点）
- 组件级蒸馏替代输出级蒸馏：在电商/广告点击序列建模中，若教师-学生 KD 效果受限，可尝试将学生 embedding 或 encoder 临时插入冻结教师路径，分别得到 Embed-Grafted Teacher 和 Encoder-Grafted Teacher。这样能分离“嵌入不可靠”和“编码器过拟合”两类误差，比仅匹配教师输出更适合稀疏行为数据。
- Transformer 序列模型可用 Grafted Encoding 稳定训练：将教师侧与学生侧 token 拼接，允许互注意力（mask 为四块均 causal），早期教师 token 提供稳定上下文，后期学生 token 细化表示。训练 attention 开销约翻倍，但收敛更快，且不影响线上推理。
- 推理零开销，适合轻量线上模型：混合源模型只在训练阶段使用，线上仍用原始学生模型，不增加额外耗时。对需要低延迟的推荐/广告精排模型是可落地的 KD 增强方案。
- 自适应对比权重技巧可复用：GCL 对六种表示对做对比学习，并用 batch 内平均相似度的 stop-gradient 计算权重，抑制冗余对、强调互补对。该思想可迁移到多视图对比学习、多任务蒸馏中的损失加权。