VaLiDRec: Variable-Length LLM-Aligned Semantic IDs for Generative Recommendation
VaLiDRec:面向生成式推荐的可变长LLM对齐语义ID
🧭 生成式推荐 · 可变长语义ID ★ 深度解读
University of Queensland · Computer Network Information Center, Chinese Academy of Sciences · Griffith University
从LLM原生词表直接构建可变长语义ID并用并行token集预测替代自回归,实现高效语义对齐的生成式推荐
📌 工作参考价值(4 点)
- 直接利用LLM原生词表构建物品语义ID:不依赖量化码本,从物品标题/描述中基于token重要性(隐状态范数+IDF)和贪心剪枝选取关键词,形成可变长token集。电商业务可直接复用此方法为商品生成紧凑、语义对齐的ID,用于搜索、推荐或冷启动表示。
- 并行token集预测替代自回归生成:推理时仅需一次LLM前向传播计算所有候选token的得分,再聚合到item级,彻底消除beam search。线上推荐可借鉴该非自回归架构,实现87倍以上的推理加速,大幅降低RT和资源消耗。
- Graph-aware软提示注入协同信号:用GraphSAGE在物品转移图上聚合邻居,生成用户行为序列的连续提示向量。该方法可嵌入现有电商推荐pipeline,将交互图信息提炼为可学习的prompt,增强LLM对用户行为模式的理解,尤其利于稀疏场景和冷启动。
- SID构建中的碰撞处理与语义质量约束:通过功能权重引导的token扩展和频率后缀消歧,保证ID唯一性;同时用语义相似度阈值控制剪枝终止,平衡紧凑性与保真度。该思路可用于商品表示的去重、规范性控制,或为多模态物品生成高质量特征码。