LLM-Based User Personas for Recommendations at Scale
基于LLM的实时用户兴趣画像生成用于大规模视频推荐
🧭 LLM实时用户理解与兴趣探索
Google Deepmind · Google
用知识蒸馏与异步推理实现在线LLM生成自然语言用户兴趣画像，平衡利用与探索，显著提升观看价值
📌 工作参考价值
- 用户行为结构化输入：用语义聚类（salient terms）将离散观看记录聚合成主题簇，作为LLM的输入，比原始序列或ID更精准；电商场景可借鉴，将用户点击/购买序列用商品title或类目聚类，提升用户画像粒度。
- 大模型蒸馏小模型部署：通过多步推理工作流让大模型（Gemini Pro）生成高质量训练数据（总结+探索），蒸馏为小模型（Nano/Flash）完成在线推理，平衡成本与效果；这种“大模型做老师”的模式可复用于线上需要实时生成文本的任务。
- 异步推理与缓存架构：将LLM推理与用户请求解耦，仅在画像过期或缺失时异步生成，避免实时延迟，并可配置更新频率；电商推送或推荐场景中，可异步生成用户兴趣标签、文案，不影响主链路响应。
- 探索兴趣的随机采样与受限检索：每个请求中随机采样一条总结兴趣和一条探索兴趣，强制均匀探索，对抗排序模型的流行度偏差；这一机制可直接用于推荐系统的多样性注入，尤其适合解决探索-利用的平衡问题。
- 探索兴趣高转化但曝光不足的启示：实验显示探索兴趣曝光量少但转化率高13.6%，暗示下游排序模型存在“安全”偏好；可在排序阶段为探索内容设置加权或保量策略，放大LLM生成内容的收益。
动机 现有LLM推荐方法多依赖结构化ID或离线处理，牺牲语义丰富性与实时适应能力，无法生成可解释的用户画像。本文针对大规模视频推荐平台，实现在线LLM实时生成自然语言用户兴趣画像，以提升推荐的可解释性、探索性与用户价值。
方法关键点
- 用户历史结构化：使用基于salient terms的语义聚类算法，将用户观看历史聚合成主题簇，每个簇用代表性视频标题作为LLM输入，比原始序列或嵌入聚类能更准捕获抽象兴趣。
- 双任务画像生成：LLM在单次推理中同时输出“总结兴趣”（利用现有偏好）和“探索兴趣”（基于世界知识生成相关但新颖的主题），显式平衡利用与探索。
- 知识蒸馏：用Gemini Pro作为老师，通过多步推理工作流（CoT）生成高质量的总结+探索训练数据；蒸馏为Gemini Flash/Nano，使小模型在线推理既能满足格式遵循（IFR>99%），又保持接近大模型的总结质量（BLEURT 0.345）和一定的创造力。
- 异步在线推理架构：将LLM生成与实时请求解耦，检查画像是否新鲜，异步更新并缓存结果；结合模型量化、安全过滤，支持数十亿用户规模且不引入额外延迟。
- 从文本兴趣到物品检索：用受限最近邻搜索将生成的文本兴趣映射到语义相关物品集，通过随机采样兴趣条目强制均匀探索，再送入下游排序。
关键结果
- 用户调研：80%用户认为LLM生成的兴趣标签“非常或极其贴近”观看历史，71%表示想看更多相关视频；57%用户严格偏好LLM画像优于知识图谱基线。
- 在线A/B（数十亿用户，30+天）：观看时间+0.04%，活跃用户数+0.03%；参与话题数+0.04%，多持久话题用户数+0.03%，均统计显著。
- 探索兴趣的曝光量比总结兴趣少40.91%，但点击率高13.6%，证明探索内容虽被排序削弱，但本身具有高吸引力。
- 蒸馏效果：Gemini Nano在充分训练后，指令遵循率99.08%，BLEURT 0.328（接近大模型初始水平），满足成本与延迟约束。
核心启示：通过语义聚类+知识蒸馏+异步架构，小尺寸LLM也能在线同时完成利用与探索，为十亿级推荐系统带来可观的用户体验提升。