Beyond the Stability-Exploration Dilemma: Environmental Regularization for LLM Policy Optimization
环境正则化策略优化：用 Query-KL 解耦 LLM 训练的稳定与探索
🧭 LLM 强化学习训练稳定性优化 ★ 深度解读
AMAP, Alibaba Group · Xi’an Jiaotong University · JD.com · Beijing Normal University · National University of Singapore
提出 ERPO，将 KL 正则从输出侧移到输入 query 分布侧，在保持探索的同时控制训练环境漂移
📌 工作参考价值（4 点）
- 在生成式推荐/query 改写等 LLM RL 训练中，可尝试用 Query-KL 替代或补充 Policy-KL：约束模型对输入 prompt 的似然漂移，而不是限制输出分布，从而保留输出空间探索，缓解长程训练崩溃。
- 工程实现低成本：用 pre-RL 参考模型预计算并缓存训练集中每个 query 的 log-likelihood，训练时直接复用当前 policy 的前向结果计算 Query-KL；无需额外 forward pass，可直接插入现有 GRPO/PPO/RLOO 框架。
- 对每个 query 按参考模型下的似然做加权（低概率 query 降权），可降低梯度方差、减少对长尾/低质 prompt 的过拟合，适合电商/搜索中 user query 分布不均的场景。
- 用多温度采样（如 0.1~1.5）评估 RL 训练后的模型稳定性，能暴露高温解码下的性能退化，比单一温度更全面；可作为生成式模型上线前的稳定性测试手段。