MobilePA-Bench: Benchmarking Mobile Planner Agents on Complex Real-World Tasks
MobilePA-Bench：复杂真实任务中移动规划代理的基准测试
🧭 移动 Agent 规划评估 · 工具调用基准 ★ 深度解读
MAI Team · Alibaba Token Hub · Alibaba Group
提出有状态、工具中心的移动规划代理基准，覆盖工具调用、子代理协作、记忆与技能四维能力
📌 工作参考价值（4 点）
- 评估 Agent 工具调用时，用 stateful sandbox 执行真实工具并返回动态反馈，比静态字符串匹配更能暴露运行时错误（如权限拒绝、依赖顺序）。电商场景可模拟库存、订单、用户画像等实时状态，让 Agent 在真实约束下做决策。
- 验证阶段按证据类型分桶（Tool Call / State Change / Agent Behavior），不同任务用不同 checker，避免单一指标过严或过松。可迁移到电商 Agent 评估：下单类任务看最终订单状态，推荐类任务看是否调用正确检索工具并合理追问。
- Memory Usage 维度要求 Agent 必须先显式调用 search_user_memory 检索用户偏好/历史，再规划动作，否则 gate 直接判失败。这启示电商个性化 Agent 应强制显式记忆检索，而不是依赖模型隐式猜测。
- Skill Usage 用预打包复合技能替代原子工具逐步规划，能显著降低长程任务错误累积（Skill 分数普遍高于 Memory）。在电商中，可将“下单+优惠券+支付”“退款+库存回补+通知”等流程封装成 skill，提升整体成功率。