#tool-calling

3 篇

Multi-Step Tool-Calling over Korean Open Public APIs: A Benchmark and a Data-Synthesis Recipe

面向韩国开放公共 API 的多步工具调用基准与数据合成

🧭 Agent 工具调用 · 执行验证数据合成

LG CNS

执行验证动态图合成多步工具调用数据，9B 模型经 GRPO 微调接近 27B

📌 工作参考价值（4 点）

构建多步 tool-calling 训练数据时，用真实 API 执行验证 schema 间的参数传递链（output→input），只保留实际跑通的边，可避免合成不可执行轨迹；电商/搜索 Agent 接内部商品、订单、营销 API 也能复用这一 graph 验证思路。
将工具流建模为动态执行图，节点是工具/参数，边是数据依赖；可把常用 API 组合沉淀成可遍历子图，自动扩展长尾 multi-step 任务，适合 query-商品-优惠券-物流等串行调用场景。
用 GRPO 在合成轨迹上做 RL 微调，小模型 9B 可逼近大 27B untuned；预算受限的本地化 Agent 可优先考虑 execution-grounded 合成 + RFT/GRPO，而不是盲目换大模型。
评估时增加真实 API 调用成功率/轨迹可执行率，而不只看格式正确率；对推荐 Agent 的 task completion 指标设计有参考。

Agent | 2026-09-04 | cs.CL | score 7/10

T1-Bench：面向多域真实对话代理的工具调用高保真基准

🧭 多领域多轮工具调用Agent评估基准 ★ 深度解读

Capital One

构建覆盖25个领域、76个工具的自动评估基准，揭示LLM代理在多轮跨域场景下的工具调用短板与一致性挑战

📌 工作参考价值（4 点）

对电商客服Agent离线评估可借鉴双代理角色扮演：用户代理按策略生成自然对话，助理代理调用工具，自动生成轨迹并复用，大幅降低人工成本。
工具调用评估需分层：工具选择、参数提取、输出精确匹配三级，同时使用Pass@K/Pass^K衡量可靠性与一致性；尤其推荐Pass^K捕获单次成功但不可复现的模型。
多域切换时性能坍塌严重（4域以上几乎归零），提示实用系统必须强化上下文保持与状态追踪，可引入论文中的Memory Module缓存工具结果，避免重复调用。
工具数量是主要难度源之一（如Food & Dining 15工具），可考虑层次化工具选择或分阶段推理，先按意图聚类再在子域内调用，缓解动作空间爆炸。

Agent | 2026-06-09 | cs.CL | score 8/10

用于工具型智能体评测的合成数据质量框架SynAE

🧭 工具调用型Agent 合成数据评估 ★ 深度解读

Carnegie Mellon University · Microsoft Research

SynAE从有效性、保真度、多样性三维度系统评估合成多轮工具调用Agent轨迹的质量

📌 工作参考价值（4 点）

合成Agent数据质量检查清单：在电商Agent评测中引入SynAE的多轴评估，避免仅靠单一指标（如任务完成率）判断合成数据可用性，特别关注有效性（工具调用是否真的能完成任务）与下游排名一致性（Ranking Divergence）。
工具规划保真度指标：借鉴Tool Usage Match、k-Step Planning等指标，量化生成式推荐中多步工具调用序列的合理性，防止合成数据引入不切实际的工具使用模式。
指令-响应结构保真度：采用Key Node Dependency和Attribute Match检查合成对话的轮次依赖和统计属性，确保合成指令与真实用户意图分布一致，适用于对话推荐系统。
迭代优化合成流程：参考案例中“先诊断再升级”的策略：先用SynAE定位diversity瓶颈，再尝试轻量改写（如关键词替换）快速验证，最后用更高能力模型做全合成，每一步都用SynAE反馈调整，适合电商Agent的合成数据增强。

Eval | 2026-05-21 | cs.CL | score 8/10