A Ranking Approach for Measuring Calibration
一种用于度量校准度的排序方法
🧭 模型校准度量 · rankECE
Boston University · University of Chicago
提出 rankECE，基于相邻预测概率比较的校准误差度量，比常用分箱 ECE 近似更准确
📌 工作参考价值（4 点）
- 在广告/推荐系统的 CTR、CVR 预估中，模型概率校准直接影响竞价与排序；现有校准评估常用分箱 ECE，但分箱宽度和边界选择会影响结论。rankECE 基于相邻点比较，无需设置分箱，更适合在线模型监控和 A/B 测试中的校准对比，尤其当正样本稀疏时。
- 可以将其作为离线评估流程的补充指标，与 AUC、LogLoss 一同监控校准质量；实现时可将预测分数排序后计算相邻点差异的加权平均，工程上容易对接现有特征和标签存储。
- rankECE 对局部校准偏差更敏感，适合发现模型在特定预测概率区间（如高点击率头部流量）的系统性偏误，便于业务方定位问题。
- 注意该度量最初针对二分类概率校准，如果推广到多分类或 Learning-to-Rank 场景需要适配，例如对每个类或每个位置计算局部校准。