MM-ToolSandBox: A Unified Framework for Evaluating Visual Tool-Calling Agents
MM-ToolSandBox：面向视觉工具调用 Agent 的统一评估框架
🧭 视觉工具调用 · Agent 评估
Apple
提出首个多图像、多轮、状态化视觉工具调用基准，揭示视觉精度是前沿模型的主要瓶颈
📌 工作参考价值
- 多模态 Agent 在电商场景的潜在应用：商品图片识别、广告素材分析、用户截图诊断等任务可借鉴该框架的视觉工具调用模式，但当前模型在图像信息抽取精度上不足（53% 的失败源于误读图像），在落地前需要增加视觉校验或人工兜底。
- 评估方法论可直接复用：框架采用“状态差分 + LLM 裁判”双轨评估，实体 F1 衡量结果一致性，裁判器评估任务完成与信息准确度，尤其适合带数据库的后台操作（如订单、购物车、日程）的 Agent 评测。
- 多图像工作记忆是瓶颈：发现“前期一次性给出所有图片”的场景比逐步给图难 20%，说明长期上下文中的视觉引用是弱点。在构建电商导购 Agent 时，可将图片分批发送，降低记忆负担，或引入外部缓存/索引来保存图片信息。
- 执行接口选择依模型而异：代码执行和结构化工具调用没有统一更优方案，应根据所用模型分别测试。小米（4B-27B）模型在代码执行上比工具调用好 6-8 个点，而 KIMI 2.6 在工具调用上反而更强，工程上可提供双模式并 A/B 选型。
动机
现有工具调用 Agent 基准几乎全是纯文本，无法评估需要从图像中提取信息并触发工具的真实助手场景（如根据截图订餐、从海报添加日程）。该工作旨在填补多模态、多轮、状态化工具调用评测的空白，并系统诊断当前模型的视觉工具调用能力瓶颈。
方法关键点
- 框架设计：构建状态化仿真环境，包含 16 个应用域、511 个原生 Python 工具，支持多轮对话、多图像、两种执行接口（代码执行与结构化工具调用），并提供工具发现机制与 LRU 缓存。
- 基准构建：通过信息流引导的自动化生成流水线产生 258 个人工校验的场景，覆盖 7 种信息流类型（聚合、比较、过滤、计算等）、4 种挑战类型（目标变更、纠错、状态变异等）和 4 种图像到达模式（一次性给图、渐进式给图等），所有图像来自 8 个视觉数据集。
- 评估协议：状态差分验证（精确匹配实体变化）、LLM 裁判（评估任务完成、信息准确度等 5 个维度）及用户模拟器质量检查，裁判与人工一致性达 88%。
关键结果
- 评测 12 款前沿模型，最强架构 Claude 4.5 Opus 的 Agent 成功率仅 48.8%，Entity F1 为 0.848；GPT-5.4 开思考后成功率从 29.1% 升至 41.5%，但视觉精度依然是硬伤。
- 失败分析：53% 的失败是因从图像中错误提取信息（对象辨识、文本读取），而非规划错误；在 4B→27B→397B 尺度下，失败主因从“任务故障（规划）”转向“事实错误（感知）”，呈现“规划-精度”交叉。
- 一次性给图场景成功率比渐进式低约 20 个百分点，多图像工作记忆是明显弱点。
- UI 模式（50 个场景）下，最佳模型成功率仅 26.0%，界面渲染和交互成为新挑战。
核心发现：当前视觉工具调用 Agent 的瓶颈不是工具使用能力，而是“看不准”——即使顶尖模型，超过一半的失败仍源于从图像中读错关键信息，且该问题无法仅靠扩大模型规模或推理预算解决。