AI Papers Daily

#SNR

2 篇

GD^2PO: Mitigating Multi-Reward Conflicts via Group-Dynamic reward-Decoupled Policy Optimization

GD^2PO: 通过组动态奖励解耦策略优化缓解多奖励冲突

🧭 LLM多奖励RL训练的冲突过滤 ★ 深度解读

Alibaba · Renmin University of China · Peking University · ETH Zürich · The Chinese University of Hong Kong

提出冲突感知过滤与查询级重加权机制，防止多奖励RL训练中梯度抵消，显著提升工具调用和对齐性能。

📌 工作参考价值（4 点）

• 多目标优化中，用 硬过滤（符号一致性）或信噪比过滤（SNR） 剔除梯度方向冲突的样本，避免优势项正负抵消，可用于推荐系统中同时优化点击率、转化率、多样性等目标。
• 引入 查询级重加权 动态调整更新量：根据一个 query 下留存非冲突样本的比例自动降权，类似推荐中根据用户信号质量调整学习率。
• SNR 一致性比率公式简单，可作为 训练中实时监控指标，检测多目标间的冲突程度。
• 方法对阈值不敏感，超参数鲁棒性强，适合在线学习场景，可直接集成到基于 GRPO 的推荐策略优化中。

RecSys | 2026-06-14 | HF Daily | score 8/10

Multi-Reward RLConflict FilteringSNRGRPOTool CallingHelpfulness-Safety

LLMs as Noisy Channels: A Shannon Perspective on Model Capacity and Scaling Laws

LLM 作为噪声信道：香农视角下的模型容量与缩放定律

🧭 LLM 训练缩放定律 · 香农信道理论

ByteDance Seed · University of Virginia · University of California, Berkeley

将 LLM 训练建模为噪声信道传输，提出香农缩放定律，解释非单调性能下降

📌 工作参考价值（4 点）

• 在推荐模型或生成式推荐训练中，当数据量增加但信息增益不高时，应监控性能非单调下降，可借鉴信噪比思考合理的数据配比与早停策略。
• 模型量化或压缩时，使用信噪比框架评估退化风险，避免 U 型性能崩塌，尤其适用于电商知识图谱 embedding 等场景。
• 多任务训练中，不同任务的噪声可能相互干扰，可依据信噪比动态调整任务权重，类似于信号功率的分配。
• 主要是理论贡献，可直接复用的工程 trick 较少，但为理解缩放瓶颈提供了新视角，有助于在模型升级决策时避免盲目扩展参数或数据。

Training | 2026-05-21 | HF Daily | score 7/10

Scaling LawsNoisy ChannelShannon TheorySNRLLM TrainingNon-monotonic Behavior