Exposure-Based Reinforcement Learning to Rank
基于曝光的强化学习排序方法
🧭 强化学习排序 · 曝光分布估计 ★ 深度解读
University of Amsterdam · Google DeepMind
通过曝光分布抽象与基线校正，实现能自动微分的RL排序，显著提升收敛速度与稳定性
📌 工作参考价值（4 点）
- 曝光分布抽象：可将任意曝光驱动的损失（DCG、公平性、蒸馏）统一写成关于曝光向量的可微函数，然后利用曝光估计器自动获得梯度，适合电商推荐中多目标优化。
- 实现即插即用：曝光估计器已集成进JAX/RAX，只需实现exposure()函数，后续损失函数不超过三行代码，大幅降低RL排序的工程门槛。
- 基线校正选择：曝光估计器的基线是文档期望曝光，实验证明它比基于效用或位置轨迹的基线更有效，在少量采样（N≥5）时已显著优于其他方法，适合实时在线学习场景。
- 边际化降低方差：对每个位置枚举所有文档的放置概率，利用GPU矩阵运算高效实现，比纯采样估计收敛更快且更稳定，可借鉴到其他大规模动作空间的RL任务。