Rethinking Semantic ID Construction for Generative Recommendation: SimHash with Parallel Decoding and Semantic Alignment
重思生成式推荐语义ID:SimHash并行解码与语义对齐
🧭 生成式推荐 · Semantic ID ★ 深度解读
University of Illinois Chicago · Amazon
证明哈希语义ID性能差源于解码不匹配,提出FLASH框架:训练无关SimHash+并行解码+语义对齐达到SOTA
📌 工作参考价值(4 点)
- 大规模商品语义ID构建:直接用训练无关SimHash + 预计算LLM文本embedding,可避免维护和训练RQ-VAE/PQ量化器,构建成本极低(CPU<0.5s),且碰撞率在m>=32时很低,适合千万级商品库快速生成语义ID。
- 解码范式要匹配编码结构:如果使用SimHash/PQ等无序编码,务必用并行多token预测而非自回归,既消除结构偏置又支持更长ID提升容量;推理时缓存每个codebook的logits,候选打分只需O(Nm) gather-sum,避免枚举全部ID组合。
- 语义对齐是廉价且通用的增强:在推荐模型中加入一个线性投影层,用负余弦相似度对齐LLM embedding,可以在SASRec、TIGER等模型上稳定提升;对齐权重0.1-0.2为宜,过大可能压制推荐信号。
- 冷启动/新品场景:训练无关SimHash完全基于文本embedding,新品无需交互即可生成语义ID;结合语义对齐可进一步提升冷启动效果,适合电商新品/长尾商品推荐。