Deep Search in Real-World Web Environments
真实 Web 深度搜索基准 OpenDS-World
🧭 真实 Web 深度搜索 Agent 基准评测 ★ 深度解读
HKUST(GZ) · Fudan University · University of Washington · Imperial College London · Nanyang Technological University
提出 OpenDS 任务与 200 题基准，12 个前沿模型最好仅 39.0% 准确率，人类 21.1%
📌 工作参考价值（4 点）
- 评估搜索/Agent 时把成本维度纳入主指标：同时记录 tool calls、wall-clock、tool failure 占比与 budget exhaustion，能发现“高消耗低收益”的执行模式；可在电商搜索 Agent 评测中复刻这套成本与终止分析。
- 业务证据获取往往跨格式（HTML/PDF/视频/结构化数据）和交互操作，不应只测最终答案；可把“证据获取路径”作为任务设计的一部分，考察 agent 能否完成筛选、时间索引、API 查询等子步骤。
- 更多调用和更长耗时不一定带来更高准确率，线上 Agent 应设置预算与早停，并监控低产出轨迹；例如限制搜索步数、对连续失败切换 tool 或终止当前链路。
- LLM-as-judge 可用较小模型做语义等价判定，但难以暴露中间证据链错误；建议在关键步骤加入 intermediate verification 或 checkpoints。