Beyond Static Leaderboards: Predictive Validity for the Evaluation of LLM Agents
超越静态排行榜：面向 LLM Agent 的预测效度评估
🧭 Agent 评估基准与方法论
IBM
揭示聚合排行榜在分布外环境下排名不稳定，提出以预测效度替代平均分评估 Agent 配置
📌 工作参考价值（4 点）
- 评估构建警惕排行榜过拟合：在构建内部 Agent 评估集时，不要过分追求固定基准上的平均分提升；需检验在业务分布变化（如季节、新物品）下的排名稳定性，可借鉴论文的预测效度指标。
- 多维度测量取代单一分数：可参照提出十二层测量装置，覆盖推理、检索、编排等维度，设计针对电商搜索推荐 Agent 的细粒度诊断，避免重要维度被聚合分数掩盖。
- 分布外实验纳入评估流水线：将 OOD 测试作为 Agent 上线前的必要检查，设定可证伪阈值，防止仅在历史数据拟合上优异、线上失效。
- 预注册实验设计提升评估可信度：在关键 Agent 选型中，预先固定评估方案和成功标准，避免事后解释偏差，增强决策说服力。