Statistically Reliable LLM-Based Ranking Evaluation via Prediction-Powered Inference
基于预测动力推断的统计可靠LLM排名评估
🧭 LLM评估的统计偏差校正 ★ 深度解读
Amazon
利用预测动力推断对LLM评判进行偏差校正，实现无偏且更精确的排序指标估计
📌 工作参考价值（4 点）
- 低成本高可靠评估：用30~100条人工标注（黄金集）配合大量LLM判断，即可获得无偏估计并将标准误差降低21%，适合电商搜索、推荐系统等需要频繁A/B测试的场景，显著节省人力成本。
- 层次化指标的稀疏化技巧：对Precision@K这类每个query汇总评分的指标，通过将输出空间从指数级降为2^K（K通常≤10）的联合分布，使PPI可实际工程化，可直接复用到NDCG@K、MAP等排序指标。
- 区分系统微小改进：生产系统中，LLM判断的原始偏差会淹没不同系统变体的差异；引入偏差校正后，仅需100条人工标注即可正确预测最优变体，日销售额提升407bps，适用于模型迭代中的离线快速决策。
- 可推广到Agent评估：方法可延伸至基于LLM的critic信号校准（如对话质量、事实准确度），用少量人工judge校正Agent自我评估的偏差，为多智体系统提供可信的自动化优化信号。