CARD: Cluster-level Adaptation with Reward-guided Decoding for Personalized Text Generation
CARD:聚类适配与奖励引导解码实现个性化文本生成
🧭 LLM 个性化文本生成 · 聚类 LoRA 与解码注入
University of California, Irvine · University of Amsterdam · TikTok
提出分层个性化框架 CARD:用户聚类学习组级 LoRA,簇内对比隐式学习个体偏好,推理仅解码注入实现高效个性化生成
📌 工作参考价值(4 点)
- 电商/广告文案生成可借鉴“先用户聚类 + 组级 LoRA”的两级适配:用行为或风格特征对用户分簇,每簇训练一个 LoRA,避免 per-user 全量微调,兼顾个性化与规模化部署。
- 簇内个体差异无需人工标注:用用户历史真实文本(如历史点击商品标题、评价、搜索词)作为正样本,簇级通用生成文本作为负样本,做对比学习得到轻量 user preference vector,可直接迁移到个性化 push 文案、商品描述生成。
- 推理时个性化只注入 decoding:base model 冻结,仅加载 lightweight user preference vectors 和 low-rank logit corrections;工程上线上可按用户簇切换对应 LoRA 和向量,存储与推理开销低,适合需要高频 A/B 和千人千面文案的推荐场景。
- 冷启动用户可先归入簇使用组级 LoRA + 默认偏好向量,后续积累数据再学习个体向量,平滑过渡成本低,可复用到新客或低活用户个性化激活。