TokenMinds: Pretrained User Tokens and Embeddings for User Understanding in Large Recommender Systems
TokenMinds：基于语义ID与LLM的工业级双模态用户建模
🧭 生成式用户建模 · Semantic ID
Google DeepMind · YouTube
提出双输出编码器-解码器架构，同时生成离散语义ID用户令牌和稠密嵌入，在YouTube排名系统中实现互补增益
📌 工作参考价值
- 离散用户表示对齐候选集：将用户兴趣压缩为与物品共享的SID前缀，可用Prefix Embedding Mapping或可学习子词嵌入（LE）投影到稠密空间。电商场景可对商品SID做同样设计，直接用SID序列表示用户历史与意图，减少跨模态鸿沟，尤其适合图文、搜索词等多模态融合。
- 双输出设计平滑过渡：同时产出稠密嵌入和离散令牌，既兼容现有DNN排序模型，又注入离散语义信号。在现有推荐系统引入生成式用户建模时，可采用类似双通道策略，避免全量重构；稠密侧做主力特征，离散侧做互补特征，通过注意力池化等方式融合。
- 异步推理架构解耦成本：在用户行为服务（UBS）框架下离线生成用户表征并缓存，实时打分仅读取，将重生成延迟完全屏蔽。大模型上线时，可参照此模式以KV缓存和定时刷新实现超高吞吐，单用户推理339ms在后台完成，存储仅需1280B，这对电商/广告海量用户场景极具参考价值。
- 跨场景统一建模提效：通过<LFV>/<SFV>等场景条件令牌，以及多上下文解码（共享编码器一次前传、分支波束搜索），将长短期视频场景合入单模型，训练算力减半，推理算力降低31%。若业务存在多个推荐流（如猜你喜欢、购后推荐、首页Feeds），可用相同技术方案统一建模，降低维护成本并从异质信号迁移学习。
- Token适配与训练技巧：训练时采用前瞻窗口采样（预测未来24h内多个目标，非下一项）、截断SID前缀（更粗粒度）、历史长度约1K watch即可饱和，这些都是可迁移的调参经验。可学习嵌入（N-gram/SPM）远优于静态前缀映射，下游模型重新学习SID语义空间能带来显著线上收益。
动机
工业推荐系统通常用固定维度稠密嵌入表示用户，难以捕捉细粒度兴趣；LLM生成的文本画像缺乏行为动态且难对齐物品属性。鉴于物品级语义ID（SID）已在检索中提升泛化，TokenMinds首次将SID范式拓展到用户建模，生成离散、语义接地且与物品共享词表的用户令牌，同时保留稠密嵌入以兼容现有下游模型。
方法
- 架构：基于Gemini V1.5 的370M MoE编码器 + 370M稠密解码器，沿用PLUM的持续预训练（CPT）对齐SID词表，再监督微调预测未来观看。
- 输入与表示：用户观看历史用SID前缀（取前4层码本）表示，配合观看时长、设备等特征软令牌，并交织搜索查询文本。
- 双输出：编码器经池化产出1,152维稠密嵌入；解码器通过波束搜索生成多个SID序列（截取前缀），作为离散兴趣令牌。
- 跨场景统一：在序列前加
/ 条件令牌，实现长、短视频单一模型训练；推理时用多上下文解码共享编码器一次前传，分支解码不同场景令牌，算力降31%。 - 下游适配：离散令牌通过可学习嵌入（N-gram/SPM）转化为稠密向量，再经池化聚合，与编码器稠密嵌入共同喂入排序模型。
- 服务：采用异步UBS框架，用户表征离线生成并缓存，实时打分直接读取，解耦高延迟推理。
结果
- 离线消融：前瞻窗口采样与SID截断分别提升冷启动召回10%与17%（相对值）；CPT初始化+搜索信号使召回提升31.5%。
- 在线A/B：短视频页同时加入稠密嵌入与离散令牌，核心用户指标+0.11%，满意度+0.62%；长视频页也显著正向。
- 跨场景模型：新鲜内容互动提升0.19%~0.33%，训练算力降50%，上游服务算力降31%。
- 工程开销：单用户生成339ms，令牌存储仅1,280B（比稠密嵌入小72%），缓存命中率96.4%。
核心一句话：SID令牌与稠密嵌入互补，双输出+异步服务让工业级排序模型可以同时享受离散语义表达与低成本实时接入。