LamPO: A Lambda Style Policy Optimization for Reasoning Language Models
LamPO：一种 Lambda 风格的推理语言模型策略优化
🧭 推理语言模型 · RLHF/RLVR 优化 ★ 深度解读
Pinterest · Facebook · University of Michigan - Ann Arbor · Mississippi State University · Carnegie Mellon University
用成对分解优势替代标量组优势，保留组内排序关系，提升RLVR样本效率与稳定性
📌 工作参考价值（4 点）
- 如果在训练对话/生成式推荐策略时使用 GRPO 等组相对训练，可借鉴成对优势分解：将组内每个样本与所有其他样本的奖励差用策略 log 概率差加权求和，保留细粒度排序信息，改善信用分配。
- 置信度权重 σ(Δs/τ) 简单实用：直接使用策略自身对样本对的偏好程度调节学习强度，可扩展到其他需要组内比较的场景。
- 对于有参考答案/轨迹的 RL 训练，可加入基于 ROUGE-L 的稠密辅助奖励，缓解稀疏正确性奖励下的学习困难，微小代价换取样本效率提升。
- 训练稳定性提升在小型模型的实验中表现明显，对资源受限下的快速迭代有帮助。