Structure-aware Relative Policy Optimization for Ranking
面向排序的结构感知相对策略优化
🧭 结构感知的排序强化学习 ★ 深度解读
Tsinghua University · Renmin University of China
用 top-weighted Kendall-tau 距离归一化奖励差，使 RL 排序的优势估计偏向高效局部调整
📌 工作参考价值（4 点）
- 将排列距离引入优势估计：在做搜索/推荐/广告的 RL 重排时，可借鉴使用 top-weighted Kendall-tau 距离归一化奖励差。这样能鼓励模型通过顶部位置的局部交换提升效果，避免仅凭标量奖励导致过度关注全局重排而破坏已收敛的策略。
- Action-level 更新替代序列级更新：SRPO 在每个位置独立计算概率比和 KL 惩罚，更细粒度。在生成式推荐或列表生成模型中，可将每个位置的输出视为一个动作，直接复用此细粒度更新方式，提升训练稳定性。
- 低样本环境下的鲁棒学习：SRPO 在 group size 仅为 2 或 4 时性能即超越 GRPO 等基线，适合在线搜索广告等高延迟、稀疏反馈场景。可用极少量采样列表构建可靠优势，降低采样成本。
- tanh 平滑与组内标准化：将结构归一化偏好除以组内奖励标准差再经 tanh 压缩，能有效抑制离群样本的梯度。这一 trick 可迁移到任何基于组内相对比较的 RL 优化中（如对话策略、重写策略），提高训练稳定性。