Discretizing Reward Models
离散化奖励模型：抑制过度敏感性与奖励黑客
🧭 奖励模型离散化与RL训练优化
Carnegie Mellon University · Meta Superintelligence Labs
用蒙特卡洛dropout将连续奖励离散化，减少奖励模型的过度敏感性，改善RL策略质量
📌 工作参考价值（4 点）
- 训练推荐对话Agent的RLHF流程中，连续奖励模型易对相似回答给出不同分，导致策略过度优化，可借鉴离散化方法，用少量聚类标签代替原始分数，抑制奖励黑客。
- 工程实现极简：无需重训奖励模型，仅对现有模型注入Monte Carlo dropout，通过多次采样聚类得到离散奖励标签（如高/中/低），可直接插入现有RL训练管线。
- 评估奖励模型时，除准确率外建议关注“判别能力”与“特异性”（特异性高=过度敏感低），这两项指标更贴近下游策略效果，对挑选或调试奖励模型有直接指导意义。
- 在生成式推荐（如直接生成物品ID或描述）中，若用奖励模型作为生成质量信号，离散化可稳定训练、减少模式坍塌，尤其适用于用GRPO等RL算法优化推荐生成的场景。