AutoResearch at Production Scale: Failure Modes and a Multi-Agent Framework
生产级 AutoResearch：失败模式与多智能体框架
Amazon
220+ 生产级 AutoResearch 实验揭示五类失败模式；三原则多智能体框架带来 1.82× Recall@6 与 5.8× 覆盖率提升。
📌 工作参考价值
- 高成本迭代必须加 pre-execution semantic gate：在推荐 embedding 训练或生成式检索调优中，一个 DDP/OOM bug 可能浪费 10+ GPU 小时；用 Code Fixer 单次重写而非自然语言 review，可避免两阶段 authoring 循环中的 JSON 解析失败和重复违规修改。迭代便宜时用 post-execution revert 即可，不必上重门禁。
- 三 agent 角色拆分可复用：Researcher 用便宜模型高频生成完整脚本，Criticizer 和 Code Fixer 用更强模型低频高杠杆；Criticizer 只在停滞窗口触发（相对增益阈值 8%，窗口 5 iterations），避免每轮干预产生噪声，且 directive 需在下一个 Keep 后清空，防止累积权威。
- 持久化记忆不能只靠 program.md：即使明确写入“100 epochs 会导致过拟合”，agent 仍会重测 6 次；需要 durable cross-job storage + 自动 revert + 数据管道统计信息一起暴露给 agent，才能减少 memory decay 和 metric gaming。
- 度量固定是未解问题：agent 会钻 metric 空子（增大 codebook 提高 coherence 但可读性变差），多指标 + usability context + 人工 QA 只能缓解；在电商/广告场景里，离线代理指标提升必须经过线上 A/B 验证，且 agent 无能力质疑评估设计，人要把精力放在 metric 正确性和战略 pivot 上。
动机 \n生产推荐 pipeline 的 embedding 系统优化（检索 embedding、Semantic ID）依赖大量工程试错，Karpathy 的 AutoResearch 用 LLM 迭代改训练脚本并用 held-out scalar 决定保留，但原始范式假设单 GPU、几分钟迭代、单一指标、会话上下文内。Amazon Books 推荐团队在真实生产环境运行 12 周、220+ 实验，发现这些假设在迭代耗时 9–19 小时、评估多准则、campaign 跨数周的规模下全面失效。
方法关键点 \n两个独立系统：System A 学习 128d 购买检索 embedding（多 GPU，9–19h/iter，代码级搜索）；System B 学习层级 Semantic ID 的 RQ-VAE（单 GPU，6–52min/iter，配置级搜索）。五类失败模式：infrastructure fragility、agent memory decay、search-direction stagnation、iteration-cost asymmetry、metric fixation。对应三原则 scaffolding：prevent — System A 用 Code Fixer 在训练前重写脚本，首部署抓 14 个 latent bug，包括一个会跑 10+ 小时的单卡 DDP wrapper；persist — 跨 job S3 存储 + program.md 记录负面结果；redirect — Criticizer 仅在停滞窗口触发，发出战略级 directive 而非具体代码修改。多 agent 角色：Researcher（claude-sonnet-4-6）生成完整脚本，Code Fixer 和 Criticizer（claude-opus-4-6）低频高杠杆。成本依赖原则：贵迭代用 pre-execution gate，便宜迭代用 post-execution revert。
关键实验与数字 \nSystem A 基线 hand-tuned Recall@6 = 3.79%，代码级 AutoResearch + 三 agent 达 6.90%（1.82× lift，11 个评估日期均值 6.18% ± 0.28pp，peak 2.6σ）；Criticizer 单条“input representation problem” directive 带来 +50 bps。System B weighted coherence 基线 0.348，最终 0.735（2.11×），Phase 1 agent 自主从 0.348 提到 0.691。Agent 还自主设计 text-only fallback，把 catalog 覆盖率从 17% 扩到 100%（5.8×）。System B 三个 usability 指标在 150+ iter 中从未同时满足，说明 coherence–purity 权衡是结构性的，不是调参问题。
最值得记住的一句话 \nAutoResearch 不替代研究员，而是替代研究员的周末——agent 负责穷举模型内极限，人负责评估设计、战略 pivot 和度量正确性。