DVAO: Dynamic Variance-adaptive Advantage Optimization for Multi-reward Reinforcement Learning
DV AO：面向多奖励强化学习的动态方差自适应优势优化
🧭 多奖励强化学习 · 优势组合优化 ★ 深度解读
Alibaba Cloud Computing
动态按组内奖励方差自适应调整多目标优势权重，解决 GRPO 多奖励标量化的幅度爆炸与目标孤立问题
📌 工作参考价值（4 点）
- 多目标奖励的可学习聚合：在电商推荐/Agent 多目标优化（如准确率+多样性+延迟）中，现有做法往往直接固定权重标量化奖励或优势，导致某一目标梯度主导。DV AO 提供了完全数据驱动的自适应加权方案，无需人工调参，直接基于每个目标的组级方差动态平衡信号强度，可应用于生成式推荐的 multi-reward 对齐。
- 稳定训练的技巧：DV AO 从理论上保证了优势幅度低于直接奖励组合，避免策略梯度爆炸。在 RL 微调推荐模型或 Agent 策略时，可直接用于处理准确度、格式合规、长度等冲突目标，防止训练崩溃。
- 交叉目标正则化机制：通过优势计算对单一目标梯度的重新缩放，隐式地促进目标间协同优化，避免某个简单目标淹没困难目标。这对 Agent 多轮任务中同时优化任务成功率与工具调用格式很有价值。
- 轻量实现：DV AO 不引入额外可学习参数，完全基于组内方差的后计算，易于集成到现有的 GRPO 或 PPO 训练流程中，适合快速实验。