Bayes-Optimal BER and AUC: Estimation and Evaluation of Estimators
贝叶斯最优 BER/AUC 估计与评估
🧭 最优性能估计与评估 · soft labels
The University of Tokyo · RIKEN AIP
提出基于软标签的最优 BER 与 AUC 估计器，并扩展 FeeBee 框架评估任意估计器
📌 工作参考价值（3 点）
- 在电商 CTR/CVR 预估、广告排序等高度类别不平衡场景，常用 AUC/BER 评估；可用该方法估计业务数据上的贝叶斯最优 AUC/BER，量化“不可约误差”与模型可提升空间，辅助判断模型是否已接近天花板。
- 若线上能采集到软标签（如用户停留时长、成交概率、点击概率），可尝试用 isotonic regression 校准并估计最优指标；该方法对标签噪声和保序变换鲁棒，适合真实日志中常见的标注偏差。
- 评估最优指标估计器本身难，可借鉴 FeeBee 扩展流程，在无 ground truth 最优值的情况下比较不同估计器的表现，作为离线评估工具。