PACE: A Proxy for Agentic Capability Evaluation
PACE：用原子评估低成本预测 Agent 能力的代理基准
🧭 Agent 评估 · 代理基准构建
Carnegie Mellon University · Salesforce AI Research
从非 Agent 原子评估中选取少例子集构建回归代理，预测 Agent 基准得分，成本低于 1% 且 MAE < 4%
📌 工作参考价值（4 点）
- Agent 选型与模型路由的快速筛选：面对 SWE-Bench、GAIA 等高成本 Agent 评测，可在内部构建 PACE 类代理，用小批量原子任务（指令跟随、工具调用等）快速预估候选模型或变体的 Agent 能力，避免全量昂贵评测，适合电商搜索/推荐 Agent 的 A/B 前筛选。
- 实例选择策略可迁移至推荐离线评估：PACE 的“目标相关局部选择 + 全局信息选择”组合，可借鉴到推荐模型的召回/排序评估中，从海量物品中选择少量 proxy items，以低成本近似在线指标。
- 解耦 Agent 能力画像：通过分析所选代理实例，可识别特定 Agent 基准（如工具使用、长程规划）对哪些原子技能最敏感，指导电商 Agent 训练时针对性地补强薄弱环节。
- 工程落地轻量：仅需线性回归，无需复杂模型，适合在 CI/CD 中集成，作为每次模型更新的快速健康检查，成本几乎可忽略。