SPRINT: Single-Step Generative Recommendation via Average Probability Velocity
SPRINT:基于平均概率速度的单步生成式推荐
🧭 生成式推荐 · Semantic ID · 单步生成 ★ 深度解读
University of Technology Sydney · New York University Abu Dhabi · University of California, San Diego
把 Semantic ID 生成建模为平均概率速度,单次前向输出完整 SID,并用双层级流对比保持 token 连贯性
📌 工作参考价值(4 点)
- 如果做 SID 生成式召回/排序,优先尝试 OPQ 而非 RQ-VAE/RQ-Kmeans:OPQ 的并行独立子空间更适合一次性预测全部 token;本文消融显示换 RQ 会明显掉点,可作为架构选型依据。
- 在单步并行解码 SID 时,单纯 per-token CE/contrastive 不够,必须加 SID 级整体打分:把 decoder 的 L 个位置隐状态 concat 后 MLP 成 user 侧表示,与 item SID embedding 做 cosine 对比,能显著抑制“每个 token 合理但组合非法”的问题;item 侧 SID embedding 可离线预计算,线上只多一次矩阵乘。
- 线上推理保持 all-mask 输入、trie 约束解码,分数 = token 概率 log-sum + SID 级相似度,单次 forward 即可出 topK;相比 masked diffusion 可拿到 8-10×加速,适合对 latency 敏感的电商推荐候选生成。
- 训练时把 source time 以较大概率锚定在 all-mask(ρ=0.75~1),并采样约 100 个 negative SID 做对比,可在不大幅增加训练成本下同时提升收敛速度和精度。