Rethinking the Divergence Regularization in LLM RL
重新思考LLM强化学习中的散度正则化
🧭 LLM 强化学习训练·信任域正则化 ★ 深度解读
Tencent Hunyuan · UIUC · NUS
提出DRPO，用连续二次正则化替代硬掩码，实现基于Binary-TV散度的平滑信任域，提升LLM RL训练的稳定性与效率
📌 工作参考价值（4 点）
- 信任域设计应从比例转向绝对概率偏移：在长尾词表的LLM策略优化中，重要性比率 (ratio) 不能准确反映分布变化。DRPO 通过 Binary-TV 散度（|π-μ|）定义信任域，对高频token更严格、对低频token更宽松，避免 PPO 对稀有token的过度惩罚，适合电商推荐中大量长尾item的生成式建模。
- 用平滑正则代替硬掩码，提供连续纠正信号：DPPO 的硬掩码在边界处梯度突变且无纠正。DRPO 的二次正则项产生有界、连续的梯度权重，边界内逐步衰减更新，边界外反向修正。这种设计可迁移到多智体训练、推荐模型RL微调等需要稳定策略更新的场景。
- 正则项必须与优势绝对值 (|A|) 挂钩：DRPO 通过 |A| 加权正则项，使信任域边界独立于奖励尺度，避免小优势token过纠、大优势token欠纠。在多轮对话Agent或推荐系统中，奖励信号常带噪声，该设计能增强训练鲁棒性。
- 低精度 (如FP8) 训练场景下更稳健：由于训练-推理数值不匹配加剧off-policy程度，DRPO 的 bounded gradient 在 FP8 E2E 设置下仍保持稳定，而 ratio-based 方法（GRPO/SPO）易崩溃。对于需要降低成本的大规模工业训练（如电商LLM部署）具备直接工程价值。