SynAE: A Framework for Measuring the Quality of Synthetic Data for Tool-Calling Agent Evaluations
用于工具型智能体评测的合成数据质量框架SynAE
🧭 工具调用型Agent 合成数据评估 ★ 深度解读
Carnegie Mellon University · Microsoft Research
SynAE从有效性、保真度、多样性三维度系统评估合成多轮工具调用Agent轨迹的质量
📌 工作参考价值（4 点）
- 合成Agent数据质量检查清单：在电商Agent评测中引入SynAE的多轴评估，避免仅靠单一指标（如任务完成率）判断合成数据可用性，特别关注有效性（工具调用是否真的能完成任务）与下游排名一致性（Ranking Divergence）。
- 工具规划保真度指标：借鉴Tool Usage Match、k-Step Planning等指标，量化生成式推荐中多步工具调用序列的合理性，防止合成数据引入不切实际的工具使用模式。
- 指令-响应结构保真度：采用Key Node Dependency和Attribute Match检查合成对话的轮次依赖和统计属性，确保合成指令与真实用户意图分布一致，适用于对话推荐系统。
- 迭代优化合成流程：参考案例中“先诊断再升级”的策略：先用SynAE定位diversity瓶颈，再尝试轻量改写（如关键词替换）快速验证，最后用更高能力模型做全合成，每一步都用SynAE反馈调整，适合电商Agent的合成数据增强。