Available Guardrails: Certifying Selective Prediction across ML Systems
可用护栏:跨机器学习系统的选择性预测认证
🧭 安全门认证可用性计算与分区规划
Rivian and Volkswagen Group Technologies · Stony Brook University · Westlake University
将选择性预测认证可用性转化为可计算量,用动态规划优化分区,在安全、粒度和覆盖间达到权衡
📌 工作参考价值(4 点)
- 在电商/Agent 安全门(工具调用、自动拦截、推荐展示)中,按业务单元认证目标精度时,用精确二项反演快速判断每个单元是否有足够样本;对长尾单元提前规划数据采集或流量分配,避免无法认证。
- 借鉴动态规划分区:当需要按类目/用户层/策略标签认证时,合并相邻小流量单元形成分区,可在保持整体安全认证的同时最大化服务流量;用两个数据划分(规划/选择)减少过拟合。
- 错误预算重分配:不同业务单元风险容忍不同,非均匀分配家族错误预算可放松部分单元精度要求,提升整体覆盖率;在线上可对高频低风险单元采用较松门限。
- 注意人口机会与有限样本差距巨大(0.157 vs 0.005),认证流程设计不能只依赖朴素估计,需显式考虑样本量或采用稳健选择策略。