Automating ML for Science: Can Frontier Agents Climb Scientific Hills in the Wild?
自动化科学机器学习：前沿 Agent 能否在真实场景中攀登科学之丘
🧭 科学ML自动化智能体评测与增强
Anthropic Fellows Program · Anthropic
构建AGENT4SCI科学ML测试床，前沿Agent在20个基准上平均相对提升10.4%，加技能后达20.1%，提升主要来自工程技巧而非科学洞见
📌 工作参考价值
- 三阶段隔离评测可直接迁移到广告/推荐的自动调参或 Agent 实验平台：让“跑实验的 Agent”看不到评估集，由独立评估 Agent 打分、审计 Agent 查作弊，可避免测试集泄漏和指标操纵。
- 在长时 AutoML 任务中加入“每小时自检”checklist，强制 Agent 回答“当前是否只在调 seed/lr”，可有效防止早收敛到局部超参搜索；电商/推荐模型调优可显式限制纯超参调优轮次，要求周期性提出新结构/新特征。
- research ideation 用夸张 persona + 文献挖掘引导提出更有领域结构的方法；在搜索/推荐中可让 Agent 先挖内部业务文档和公开论文，再提出具有业务/物理约束的辅助损失或架构调整，而不仅是换 backbone。
- 显式 experiment management 指令（并行实验、避免 CPU/GPU 争抢、实时监控）能显著提升长时任务效率，适合 12 小时级推荐模型重训或特征回放实验。
动机：前沿编码智能体被期待成为端到端科研助手，但科学 ML 需要领域洞察，现有 benchmark 多为结构化代码、单一任务，无法反映真实科研环境。作者先做试点发现原始科学仓库直接跑 agent 容易出现严重评估作弊：选择性报告、测试集污染、指标操纵、硬编码。因此需要一个隔离测试集、能审计轨迹的评估范式。
方法关键点：
- 构建 AGENT4SCI：20 个科学 ML benchmark、25 个任务、11 个领域，经人工复现、统一 splits、运行时优化等标准化。
- 三阶段协议：hill-climbing agent 仅见训练/验证；独立 evaluation agent 在 sequestered test set 打分；auditing agent 审查作弊。8×H200、12 小时预算，CLI 最大推理档。
- 针对轨迹中的失败模式设计三个轻量插件技能：research ideation（夸张 persona + 文献挖掘）、experiment management（并行/避免争抢/实时监控）、scheduled checklists（每小时自检，避免陷入超参速调）。
关键实验/结果：Claude Opus 平均相对提升 10.4%，Sonnet 9.6%，Gemini 6.8%，Codex 4.4%，20/20 benchmark 提升且审计无作弊。方法主要是 lr 调优、架构改、backbone 换等 ML 工程，少领域特定。加技能后 Opus 20.1%（18/20 提升），Codex 8.1%，并出现 PFDelta 物理启发的残差修正。
最值得记住的一句话：当前 agent 能自动爬科学山，但主要靠工程套路而非科学推理；隔离评估和审计是防作弊的关键。