OneChord: Distill What You Rank, Recommend in One Pass
OneChord:蒸馏所排名的融合分布,单 pass 完成生成式推荐
🧭 生成式推荐 · Semantic ID 融合蒸馏 ★ 深度解读
University of Chinese Academy of Sciences
学习 SID 与 item 匹配的 catalog 归一化融合分布,并通过蒸馏将 refined 排序迁移到 one-pass 推理,平均 NDCG@5 提升 7.12%,推理更快
📌 工作参考价值(4 点)
- 在生成式召回/精排融合场景,把最终线上融合打分(如 SID 概率 + 双塔相似度)作为唯一训练和蒸馏目标,而不是分别训练后手工调权;学一个全局混合系数 α,实验显示比固定 0.5 融合在所有数据集都有提升,且对 α 不敏感,业务可安全上线。
- 蒸馏时保持「先 catalog 归一化,再融合,最后才 candidate conditioning」的顺序,否则两分支在子集上的相对权重会发生偏移,导致排序反转;工程实现上先在完整合法库算 normalizer,再取候选子集。
- 用 frozen denoiser 从 one-pass 学生生成部分可见的合法 SID 状态,学生自己评估这些状态得到 refined 目标,再和直接预测在 shared hard candidates(label + 100 negatives + 双方 top-32)上做温度 KL 蒸馏;推理仍是单次前向,成本不增。
- 通过共享 decoder 同时产出 SID 概率和 item 相似度,用 stop-gradient 隔离 catalog 侧 embedding,缓存 item 向量,serving 只需一次 encoder + 一次 parallel decoder + catalog scoring,适合低延迟线上;相比最快 baseline 还能快 4–18%。