UniClawBench: A Universal Benchmark for Proactive Agents on Real-World Tasks
UniClawBench：面向真实世界任务的主动式智能体通用基准
🧭 Agent 评估基准与能力分析
HKU MMLab · Meituan
首个能力驱动、在动态 Docker 环境中闭环评估主动智能体的基准，揭示框架比模型更影响性能
📌 工作参考价值（4 点）
- 能力解耦设计：将任务按 Skill Usage、Exploration、Long-Context Reasoning、Multimodal Understanding、Cross-Platform Coordination 五个维度划分，可启发我们在构建电商搜索/推荐 Agent 时按能力模块进行独立评估与优化
- 闭环评估策略：采用执行器-监督器-用户模拟器三角色闭环，隐藏真值、模拟多轮人类反馈，可用于内部 Agent 迭代，避免静态评测过拟合
- 框架选择比模型更重要：实验结论提示我们在实际系统中应优先优化 Agent 框架（工具编排、上下文管理）而非盲目升级基础模型
- 实时环境执行（Docker 容器+步骤检查点）：可借鉴将 Agent 丢入真实可操作环境（如浏览器、终端）并设计细粒度完成度打分，弥补传统离线评测的不足