Which Metrics Save the Most Human Annotation? Prediction-Powered Evaluation and Meta-Evaluation
哪些指标最能节省人工标注？预测驱动评估与元评估
🧭 预测驱动推断用于评估降本
Northeastern University · West Virginia University
提出预测驱动评估框架，用少量人工标注结合大规模自动分数实现无偏系统比较，并定义PPSR元指标衡量指标降本效果
📌 工作参考价值（4 点）
- 在模型迭代或A/B评估中，不必完全依赖昂贵人工标注：可复用prediction-powered evaluation思路，使用少量人工样本（如数百条）校准大规模LLM judge或业务自动指标（如CTR预估、相关性打分），获得无偏的模型版本对比，显著降低评估成本。
- 选择自动指标时，不要只看与人工分的相关性（如Kendall tau），建议计算PPSR（Prediction-Powered Saving Ratio），直接衡量该指标能节省多少人工标注；PPSR对指标排名更稳定，适合在业务中筛选LLM judge或自定义评估器。
- 注意paired vs unpaired设计：若新旧系统产出相同候选集（paired），使用paired设计通常更高效；若输出空间不同（如不同推荐策略、不同生成式模型），需要根据数据效率权衡选择，论文给出的分析可指导线上评估设计。
- 该框架适用于非可验证任务（如文案生成、推荐理由、对话系统），可扩展至电商场景中商品描述、广告创意、搜索摘要等的自动+人工混合评估。