LLM-Derived Priors for Thompson Sampling in Cold-Start Comment Recommendation
利用LLM导出先验的冷启动评论推荐Thompson采样
🧭 LLM辅助Bandit冷启动 · 分段Thompson采样
NAVER WEBTOON
将评论文本的LLM语义信号转为Beta先验，使分段Thompson采样在稀疏反馈下CTR提升可达9.5%
📌 工作参考价值
- 文本丰富的推荐场景（如评论、用户文案）可离线用LLM批量生成先验得分，以Beta伪计数注入Thompson采样，解决新物品冷启动；伪展现量参数κ可设为流量P75附近以平衡先验与在线数据。
- 按人口统计或用户群组维护独立后验（分段Thompson采样），既能利用群体差异又避免单个用户数据碎片化，可迁移到地域、活跃度等常用分段。
- 先验设计采用基础分+调整项的加法结构，把通用吸引力与特定信号解耦，便于调试、分析不同信号贡献，电商中可类似拆解价格偏好、品类亲和等调整项。
- 工程上将昂贵的LLM推理离线每日执行，在线仅聚合印环和点击更新Beta后验，实现低延迟服务与语义先验的分离，适合生产环境集成。
动机 冷启动是新上架评论（或物品）面临的核心难题，Thompson采样虽能在线适应，但初始先验通常无信息。Webtoon评论推荐系统上线初期反馈稀疏，若能利用评论文本语义构造信息性先验，就可加速学习。大语言模型（LLM）具备从文本中提取吸引力、性别亲和、内容身份等信号的能力，本文探索将LLM输出转为贝叶斯先验，为分段Thompson采样提供热启动。
方法关键点
- 分段建模：按性别×4个年龄组共8个统计段，独立维护每个评论的Beta后验参数，奖励为点击；每请求从上游标题池内选出Top-10评论展示。
- LLM先验构造：设计三种提示，对每个评论输出：①基础分（通用钩子强度，0～1）；②性别调整值（Δ₉, ΔⲀ，范围[-0.35,0.40]）；③内容调整值（Δₜ，0～1，先提取标题5个代表性主题再评分评论表达程度）。得到两种先验均值：性别先验 = clip(base + 2×性别调整)，内容先验 = clip(base + 1×内容调整)。
- 转化为Beta伪计数：α₀ = 1 + round(κμ)，β₀ = 1 + round(κ(1-μ))，κ=40（伪展现量，参考流量P75设定），使先验在评论获少量曝光前强影响，随反馈累积逐渐退让。
- 在线更新：每小时聚合近7天展示与点击，更新后验参数；离线阶段每日对新增/变更评论批量执行LLM评分。
关键实验与结果 在线A/B/C测试（约每变体59.5万用户），均匀先验为对照组，性别先验和内容先验为实验组，窗口为4周。
- 整体指标：性别先验CTR方向性+1.48%（不显著），CVR+1.23%；内容先验CTR显著下降5.68%，CVR方向性+1.37%。
- 冷启动桶分析：按累计曝光分桶，10～49次曝光桶性别先验CTR提升+9.51%（p<0.001），内容先验+7.76%（p<0.001）；50～199桶性别先验仍有+6.72%增益；200+桶内容先验转负。表明先验在少量交互后发挥最大加速作用。
- 先验-奖励对齐：在均匀先验对照组下比较，性别先验得分与观测CTR呈清晰单调上升，内容先验无此关系，印证其过滤而非点击导向机制。
- 人口异质性：性别先验增益集中于男性用户（≤17岁段CTR+13.76%），女性无显著效果；内容先验在部分女性段CTR下降但CVR提升（如28-37岁CVR+6.42%），揭示先验效果高度分群。
一句话结论 LLM先验是高效的冷启动加速器，但必须匹配数据集人口特征和先验类型，且在推荐漏斗不同阶段生效。