Prediction-Powered Smoothing and Validation for Disaggregated AI Evaluation
细粒度 AI 评估的预测驱动平滑与验证
🧭 AI 评估 · 小域估计与预测驱动推断
Department of Statistics, University of California, Santa Cruz
用预测驱动推断与贝叶斯小域平滑，改善稀疏分群上的 AI 系统点估计、区间估计与估计量选择
📌 工作参考价值（4 点）
- 当按类目、流量入口、用户分群评估推荐或 Agent 指标时，小分群标签极少：可先对每个分群算 prediction-powered estimate，再用贝叶斯模型做平滑；如果有类目树或场景层级，用 PP-TS 跨层级借力，能获得更稳的区间估计。
- 已有 LLM judge 或自动打分器覆盖全量评估样本时，把它作为预测信号，只对少量样本做人工标注，能显著降低分群指标的方差；适合电商 Agent 多场景、多类目评估。
- 在 direct、PPI、smoothed 等多个候选 estimator 之间做选择时，可以用文中的 design-based CV score 替代单独留出 validation set，节省标注预算，且能更准确估计所选 estimator 的误差。
- 应用时注意其假设评估集是有限总体且抽样设计已知；实际可适配分层抽样或 uniform sampling。若预测模型与标签存在系统性偏差，需检查 interval coverage，不要盲目信任 smoothed 点估计。