RecoReward: Recommender-Guided Multimodal Description Generation for Recommendation
RecoReward：推荐引导的多模态描述生成
🧭 生成式推荐 · 训练-推理解耦 ★ 深度解读
南开大学 · 快手科技 · 中国科学院信息工程研究所 · 中国科学院大学
利用行为反馈训练内容生成，实现推荐感知的共享描述，推理时无用户成本
📌 工作参考价值（4 点）
- 可复用思路：在电商或内容推荐中，用已部署的双塔模型输出作为奖励信号，微调MLLM来生成对下游召回更友好的 item 描述，训练时接入用户行为信号，推理时完全剥离，保持线上低延迟。
- RAS 的减法设计值得借鉴：用非目标用户的平均亲和度作为背景项，从目标用户打分中减去，能提升描述的区分度，让生成的语义向量更有选择性，而非放大普适偏好。
- 工程实现细节：RL 阶段使用 GRPO+DAPO 组合，格式奖励保证输出可解析，语义奖励驱动排序，这种混合奖励可以避险 reward hacking；在线上的直播推荐 A/B 测试中，有效用户渗透率与分发宽度均有正向提升，说明方案具备线上可行性。
- 对于冷启动或内容重复使用的场景，该方法提供了一种训练一次、反复使用的范式，避免了为每个用户重复生成描述的推理开销，可直接桥接至双塔召回架构。