Two is better than one: A Collapse-free Multi-Reward RLIF Training Framework
两个优于一个：无坍塌的多奖励RLIF训练框架
🧭 无监督强化学习推理训练优化
Bangladesh University of Engineering and Technology · West Virginia University · University of Aberdeen · Fogsphere (Redev.AI Ltd) · University College London
将内部反馈分解为答案级和完成级互补奖励，结合GDPO归一化与KL-Cov正则化，稳定无监督RL推理训练，性能逼近监督方法
📌 工作参考价值（4 点）
- 多奖励分解思路可迁移至电商Agent策略训练：将单一奖励拆分为任务完成质量（如订单转化）与过程合理性（如对话轮次、信息获取效率），利用类似GDPO的归一化避免信号尺度失衡，防止策略被单一指标劫持。
- KL-Cov正则化可缓解生成式推荐中的“多样性坍塌”：当使用RL微调生成模型（如推荐标题、理由生成）时，显式惩罚低熵token分布，保留探索能力，防止模型输出千篇一律的高概率套路。
- 内部反馈在缺少强监督时构建训练信号：在无法获得真实用户反馈或黄金标准答案的冷启动场景下，利用模型自身的投票（如聚类投票）和自信度作为奖励，可驱动Agent或推荐模型自改进。
- 方法对长程推理的稳定效果可启发多步决策智能体设计：若Agent需执行多步工具调用或逻辑推理，借鉴“答案级+完成级”的双层内部奖励，配合针对性正则化，有望提升长序列决策的鲁棒性。