GD^2PO: Mitigating Multi-Reward Conflicts via Group-Dynamic reward-Decoupled Policy Optimization
GD^2PO: 通过组动态奖励解耦策略优化缓解多奖励冲突
🧭 LLM多奖励RL训练的冲突过滤 ★ 深度解读
Alibaba · Renmin University of China · Peking University · ETH Zürich · The Chinese University of Hong Kong
提出冲突感知过滤与查询级重加权机制，防止多奖励RL训练中梯度抵消，显著提升工具调用和对齐性能。
📌 工作参考价值（4 点）
- 多目标优化中，用 硬过滤（符号一致性）或信噪比过滤（SNR） 剔除梯度方向冲突的样本，避免优势项正负抵消，可用于推荐系统中同时优化点击率、转化率、多样性等目标。
- 引入 查询级重加权 动态调整更新量：根据一个 query 下留存非冲突样本的比例自动降权，类似推荐中根据用户信号质量调整学习率。
- SNR 一致性比率公式简单，可作为 训练中实时监控指标，检测多目标间的冲突程度。
- 方法对阈值不敏感，超参数鲁棒性强，适合在线学习场景，可直接集成到基于 GRPO 的推荐策略优化中。