DSAgentBench: Can Agents Automate End-to-End Data-Science Workflows in Real Computer Environments?
DSAgentBench：评估 Agent 在真实计算机环境中自动执行端到端数据科学工作流的能力
🧭 Agent 能力评估与基准构建
York University · Nanyang Technological University · Salesforce AI Research
首个在真实 OS 中评估 agent 完成全流程数据科学任务的基准，揭示当前模型巨大能力鸿沟
📌 工作参考价值（4 点）
- 为电商推荐场景中自动化数据分析（清洗、特征工程、模型评估）的 Agent 提供评估框架，可借鉴其任务设计和评测方法。
- 强调真实 OS 环境下的多工具协同（终端、浏览器、数据库），提示业务 Agent 需要具备文件系统操作、数据库连接等底层能力，而非仅代码生成。
- 确定性 evaluator 不仅检查代码执行，还验证分析结果正确性、可视化和模型性能，该思路可直接用于业务 Agent 的效果验收。
- 当前开源 Agent 成功率几乎为 0，闭源最高仅 56.7%，说明复杂长链路自动化仍不成熟，现阶段业务中应谨慎引入端到端全自动 Agent，更适合人机协同模式。