TokenMinds: Pretrained User Tokens and Embeddings for User Understanding in Large Recommender Systems
TokenMinds：基于语义ID与LLM的工业级双模态用户建模
🧭 生成式用户建模 · Semantic ID ★ 深度解读
Google DeepMind · YouTube
提出双输出编码器-解码器架构，同时生成离散语义ID用户令牌和稠密嵌入，在YouTube排名系统中实现互补增益
📌 工作参考价值（5 点）
- 离散用户表示对齐候选集：将用户兴趣压缩为与物品共享的SID前缀，可用Prefix Embedding Mapping或可学习子词嵌入（LE）投影到稠密空间。电商场景可对商品SID做同样设计，直接用SID序列表示用户历史与意图，减少跨模态鸿沟，尤其适合图文、搜索词等多模态融合。
- 双输出设计平滑过渡：同时产出稠密嵌入和离散令牌，既兼容现有DNN排序模型，又注入离散语义信号。在现有推荐系统引入生成式用户建模时，可采用类似双通道策略，避免全量重构；稠密侧做主力特征，离散侧做互补特征，通过注意力池化等方式融合。
- 异步推理架构解耦成本：在用户行为服务（UBS）框架下离线生成用户表征并缓存，实时打分仅读取，将重生成延迟完全屏蔽。大模型上线时，可参照此模式以KV缓存和定时刷新实现超高吞吐，单用户推理339ms在后台完成，存储仅需1280B，这对电商/广告海量用户场景极具参考价值。
- 跨场景统一建模提效：通过<LFV>/<SFV>等场景条件令牌，以及多上下文解码（共享编码器一次前传、分支波束搜索），将长短期视频场景合入单模型，训练算力减半，推理算力降低31%。若业务存在多个推荐流（如猜你喜欢、购后推荐、首页Feeds），可用相同技术方案统一建模，降低维护成本并从异质信号迁移学习。
- Token适配与训练技巧：训练时采用前瞻窗口采样（预测未来24h内多个目标，非下一项）、截断SID前缀（更粗粒度）、历史长度约1K watch即可饱和，这些都是可迁移的调参经验。可学习嵌入（N-gram/SPM）远优于静态前缀映射，下游模型重新学习SID语义空间能带来显著线上收益。