A Gradient Perspective on RLVR Stability and Winner Advantage Policy Optimization
RLVR稳定性梯度分析与赢家优势策略优化
🧭 RL训练稳定性分析与策略优化
Layer 6 AI
通过梯度分析揭示GRPO崩溃机制，提出仅对正优势序列更新的WAPO，提升训练稳定性与性能。
📌 工作参考价值（4 点）
- 在RL微调推荐/Agent模型时，只对奖励高于平均的生成结果（正优势）进行策略更新，可避免负优势样本导致熵增和输出崩溃，是一种简单的实现 trick。
- 裁剪策略梯度更新幅度（类似 PPO 的 clipping），防止梯度爆炸，保持训练稳定，可直接集成到现有 RL 训练流程。
- 论文提出的 token 级梯度分解与稳定性分类法可用于分析推荐模型的 RL 微调行为，诊断训练不稳定是由哪些 token 分布引起，指导超参调整。
- 使用在线采样（on-policy）而非重用旧策略样本（off-policy），可减少策略漂移带来的问题，在推荐系统的多步 Agent 训练中值得尝试。