What AI Red-Team Evaluations Can and Cannot Prove
AI红队评估能证明什么与不能证明什么
🧭 AI安全评估证据理论
APIsec Research Labs
推导出红队评估的证据上限，揭示当前基准对高频危害足够但对罕见灾难性危害严重不足
📌 工作参考价值
- 评估Agent决策链的安全性时：可借鉴其“证据天花板”概念，明确在给定测试用例数量下，能多置信地排除某类安全风险；尤其当Agent执行高风险操作（如资金转账、删除商品），需量化评估对罕见灾难性错误的保障能力。
- 设计红队测试基准：文章指出当前基准对高频危害（如偏见回复）有效，但对罕见灾难性危害（如自动大额折扣误发）需要数个量级更大的测试集。这意味着若想用红队证明Agent在罕见事故上的安全性，必须开发更大规模、更具针对性的测试用例，或采用自适应红队。
- 评估报告的表述：借鉴“clean sheet比单个重现失败更关键”的结论，在安全报告中强调零漏洞结果比个别失败更有证明力，尤其当基准规模超过阈值时。
- 方法论可迁移到推荐系统：如果将“有害输出”替换为“推荐事故”（如推荐违法商品），可通过计算每个类别的最低可检测危害率，决定测试集规模，避免漏检罕见但高风险的问题。
动机：当前红队评估被广泛用作AI模型安全部署的证据，但业界对其证明力认识模糊。文章提出可计算边界，明确在给定测试预算下，一个评估结果能证明什么、不能证明什么。
方法关键点：
- 定义证据天花板：在固定测试用例数下，一次观察结果能提供的最大信念更新因子，并针对基准零失败结果给出闭式解。
- 存在一个可计算的危害率阈值：当真实危害率高于该阈值时，中等规模的基准即可将模型认证为满足特定证据标准，且此时“零失败”是比“单个重现失败”更强的证据；低于该阈值时，任何可行规模的被动基准都不足以提供指定安全证明。
- 该界限适用于自适应红队：用假设条件诱导率重新表述后，核心是判别假设的能力而非攻击成功率。
关键结果：
- 审查8个现有评估套件，发现当前基准对高频危害类别足够，但对罕见灾难性危害类别差数个数量级。
- 交叉阈值随测试数n下降为1/n，说明增加测试可降低可证明的临界危害率。
- 安全基准并非无信息，而是对一组特定且可计算的命题有用，需要明确声明其适用范围。