AI Papers Daily

#tool-use

3 篇

ToolLoop: Closed-Loop Tool-Use Data Synthesis via Decomposed Generation and Dynamic Self-Feedback

ToolLoop：基于分解生成与动态自反馈的闭环工具使用数据合成

🧭 工具调用数据合成 · 闭环自反馈 ★ 深度解读

vivo AI Lab

用分解生成与阶段自反馈替代一次性生成过滤，11K数据训练4B模型在BFCL达86.40%

📌 工作参考价值（4 点）

• 电商/推荐系统若需训练Agent调用商品搜索、订单查询、优惠券服务等API，可借鉴ToolLoop三阶段分解：先选函数组合作为ground truth，再反向生成用户query，最后正向生成tool call，确保用户意图与工具调用严格对齐，避免生成噪音。
• 动态自反馈比静态过滤更高效：在合成训练数据时，用LLM验证器+规则+AST解析发现错误后，将具体问题反馈给生成模型进行修正（最多3次），而不是直接丢弃，能保留困难样本、改善数据分布多样性，适用于query改写、搜索suggestion等数据合成。
• 候选函数构建采用embedding+K-means聚类+LLM采样，可迁移到电商API管理：将海量商品/订单等API按语义聚类，从每个簇采样构建候选集，既避免上下文过长，又保证候选API语义相关，提升筛选效率和训练效果。
• 移除与测试集重叠的函数后模型性能几乎不下降（86.40 vs 86.07），说明合成数据的价值在于构造过程的内部一致性而非记忆特定schema；业务中应关注数据生成流程的合理性，而非盲目扩大数据量或依赖特定API覆盖。

Agent | 2026-09-08 | cs.CL | score 8/10

tool-usesynthetic dataself-feedbackfunction callingLLMdata synthesis

Can Agents Generalize to the Open World? Unveiling the Fragility of Static Training in Tool Use

智能体能否泛化到开放世界？揭示工具使用中静态训练的脆弱性

🧭 Agent 工具使用泛化与鲁棒性

Nanjing University

发现静态训练的工具使用智能体在开放环境分布偏移下性能脆弱，并提出扰动增强微调策略增强鲁棒性

📌 工作参考价值（4 点）

• 电商智能助手/广告投放 Agent 的鲁棒性设计：在真实业务中，用户查询、工具接口、返回数据格式会频繁变化。论文的四层偏移（感知、交互、推理、内化）框架可直接用于梳理生产环境 Agent 的脆弱点，例如商品描述变化（感知偏移）、API 参数重命名（交互偏移）、促销规则修改（推理偏移）、知识库更新（内化偏移）。
• 训练阶段引入数据扰动：借鉴扰动增强微调策略，在 SFT 阶段针对查询改写、工具说明扰动、观察噪声等构造对抗样本，低成本提升 Agent 对线上突发变化的容忍度，避免频繁重训。
• 评估测试集设计：构建类似沙盒环境，按分布偏移等级设计回归测试集，用于持续监控上线 Agent 的泛化能力，尤其在新品类、新营销工具上线时把关。
• 多维度泛化诊断：论文的四层层次化偏移可作为多维度 QoS 指标，指导 Agent 在搜索推荐场景下（如商品智能推荐对话、投放策略多步推理）的优化方向，明确是哪个层次出现问题。

Agent | 2026-07-01 | cs.AI | score 7/10

tool-usegeneralizationopen-worldrobustnessperturbation-augmented fine-tuning

Why Multi-Step Tool-Use Reinforcement Learning Collapses and How Supervisory Signals Fix It

多步工具使用强化学习的崩溃分析与监督信号修复

🧭 多步工具调用 RL 的稳定化训练 ★ 深度解读

中国科学院自动化研究所复杂系统认知与决策重点实验室 · 中国科学院大学人工智能学院

揭示 RL 训练中控制 token 概率畸变导致的结构性崩溃，系统性对比 6 种监督信号并以交错训练实现稳定工具调用

📌 工作参考价值（4 点）

• RL 训练前务必先用 SFT 注入工具调用格式：直接对未见过工具调用格式的模型做 RL 极容易发生 tool_call 等控制 token 的概率膨胀，导致输出退化为 <tool_call><|im_end|> 的空结构，需先用少量 SFT 数据建立格式基础。
• 交错训练（interleaved SFT-RL）比同步训练稳定得多：在 RL 探索过程中间歇插入基于失败样本的 SFT 校正，可大幅减少格式漂移，避免 KL 散度爆炸；尤其推荐 Erroneous Trajectory Supervision + Process Reflection Supervision，后者将中间步骤反思转化为文本监督信号，起到逻辑正则化作用。
• 纯 RL 的“崩溃”可能是格式伪影而非能力丧失：OOD 评估发现，单纯 GRPO 在分布外格式下反而稳定，说明崩溃主要集中在特定控制 token 的分布敏感区，真实工具调用能力仍然保留；因此线上部署时可考虑改变 prompt 模板来规避训练格式过拟合。
• 学习率对交错训练极为关键：错误轨迹监督 (ETS) 在较高学习率 (1e-5) 下提升显著，而同步方法常因共享学习率导致优化不稳定；可借鉴其逐步增加 RL 次数 + 错误 SFT 的调度策略。

Agent | 2026-06-24 | cs.LG | score 8/10

RL collapsetool-useinterleaved SFT-RLcontrol tokenprocess supervisionBFCL