Optimizing Visual Generative Models via Distribution-wise Rewards
通过分布级奖励优化视觉生成模型
🧭 分布级奖励与RL微调
University of Science and Technology of China · Shanghai Innovation Institute · Hunyuan Frontier Lab, Tencent · National University of Singapore
用分布级奖励替代逐样本奖励以缓解奖励黑客和模式崩塌，并提子集替换策略与RL优化模型合并系数
📌 工作参考价值（4 点）
- 生成式推荐常因逐样本奖励导致多样性坍塌（如仅生成头部商品），可借鉴分布级奖励：在 batch 级别设计奖励，衡量生成结果与真实用户行为分布的匹配（如类目覆盖率、长尾占比），抑制奖励黑客。
- 子集替换策略：在大规模候选集评估时，可动态更新一小部分样本（如 5%）来近似真实分布奖励，降低在线计算开销，适用于推荐模型中的常驻评估集或在线 RL 的 reward normalization。
- RL 优化模型合并系数：对于多目标融合（如点击率、转化率、多样性）的推荐模型，可学习后验合并系数以平衡各奖励项，缓解训练-推理不一致，尤其适合 LoRA 合并或多专家集成。
- 分布对齐视角可迁移到推荐策略的多样性控制：将用户交互分布视为真实分布，通过分布奖励直接优化生成策略的宏观统计属性，避免微观过拟合。