Multi-Step Tool-Calling over Korean Open Public APIs: A Benchmark and a Data-Synthesis Recipe
面向韩国开放公共 API 的多步工具调用基准与数据合成
🧭 Agent 工具调用 · 执行验证数据合成
LG CNS
执行验证动态图合成多步工具调用数据，9B 模型经 GRPO 微调接近 27B
📌 工作参考价值（4 点）
- 构建多步 tool-calling 训练数据时，用真实 API 执行验证 schema 间的参数传递链（output→input），只保留实际跑通的边，可避免合成不可执行轨迹；电商/搜索 Agent 接内部商品、订单、营销 API 也能复用这一 graph 验证思路。
- 将工具流建模为动态执行图，节点是工具/参数，边是数据依赖；可把常用 API 组合沉淀成可遍历子图，自动扩展长尾 multi-step 任务，适合 query-商品-优惠券-物流等串行调用场景。
- 用 GRPO 在合成轨迹上做 RL 微调，小模型 9B 可逼近大 27B untuned；预算受限的本地化 Agent 可优先考虑 execution-grounded 合成 + RFT/GRPO，而不是盲目换大模型。
- 评估时增加真实 API 调用成功率/轨迹可执行率，而不只看格式正确率；对推荐 Agent 的 task completion 指标设计有参考。