Refuse, Decompose, Refresh: A Claim-Safe Protocol for Closed-Loop AI Evaluation
拒绝、分解、刷新：面向闭环 AI 评估的主张安全协议
🧭 AI 评估协议 · 主张安全
Blossom AI
提出由 Refuse、Decompose、Refresh 构成的评估协议，将结论限定在有观测支持的范围内，并在闭环模拟器中实证
📌 工作参考价值（4 点）
- 把评估流程从单一 PASS/FAIL 改为三阶段：先判断参考流/匹配比较是否有足够支持，再按组件和流量段分解报告，最后对漂移告警先重算参考而非直接报障；适合推荐系统 A/B 实验与离线评估，避免整体指标提升掩盖不可观测组件失败。
- 对闭环推荐/Agent 系统，策略决定曝光和状态访问，许多失败不会留下可测痕迹；建议记录未覆盖组件与弃权单元，将“未观测”显式作为结果一部分，而不是当作“无故障”。可采用预注册保留集与 aggregate-only 监控，降低选择性报告风险。
- 零故障场景用精确二项上限报告不确定性（如 0/20 时单边 95% 上限 0.1391），在安全/风控相关评估中展示 CI 而非点估计，避免过度自信。
- 漂移告警处理可迁移：当线上特征分布或请求类型变化时，先让参考基线失效并重算，而不是直接判定模型故障，减少电商大促等非平稳时期的误报。