Athanor: An Agent-Native System for Autonomous Post-Training Research
Athanor：面向自主后训练研究的智能体原生系统
🧭 多智能体协作自主后训练
ByteDance · Duke University · The University of Chicago · Virginia Tech
四个Claude智能体团队在Athanor系统上自主将Qwen3-4B-Base后训练至接近官方Instruct水平
📌 工作参考价值
- 借鉴「外部化研究状态」：将训练数据、checkpoint血缘、评估结果、agent笔记持久化到统一记录，支持断点恢复、审计和多agent协作；在电商/推荐实验平台中可强化实验血缘追踪，避免重复实验和不可复现。
- 借鉴「分离决策与执行」：让LLM agent只负责实验设计、数据检查和结果分析，环境负责GPU调度、训练/评估执行、数据去污、检查点存储，大幅降低工程摩擦；业务中可构建类似命令式接口（job/eval/data/artifact），让算法人员或agent快速发起实验。
- 借鉴多agent协作机制：共享notes和checkpoint，并用统一评测作为verifier来筛选可复用的队友成果；注意需要明确「团队目标」触发分享行为，没有notice时agent只读不写，引入轻量提示即可激活协作。
- 借鉴RL训练trick：在GRPO中以25%概率使用greedy decoding生成rollout，可有效抑制重复循环，提升逻辑/指令跟随任务；此方法可迁移到对话、搜索query改写等生成式任务的RL微调中。
- 数据质量自动检查教训：agent会检查格式、长度、可评分性，但经常忽略答案正确性；在自动化数据处理管线中需显式加入正确性验证步骤，防止噪声答案进入训练集。
动机
递归自我改进是通向超级智能的可能路径，后训练是其中可研究的环节。但后训练研究昂贵、反馈延迟且需保持评估诚实，现有智能体研究范围窄、允许teacher模型或未隔离held-out评估。本文提出AutoPostTrain任务：让前沿agent从raw base model出发，通过真实GPU训练实验自主改进通用能力。
方法关键点
- Athanor系统：采用三个设计原则：①分离研究决策与执行——agent负责数据、算法、超参决策，环境负责运行、评估、恢复；②外部化研究状态——所有请求、结果、checkpoint血缘、transcript、notes存入持久记录，支持断点恢复、多agent协作和审计；③保持研究循环高效——后台异步作业，结果到达即唤醒agent，允许同时多个实验在途。
- 角色分离：研究员（只做研究决策，不可见held-out）、环境（无研究决策，执行与测量）、操作员（设定目标、恢复节点、最终评分，不给研究建议）。
- 团队协作：四个Claude Opus 5.5 agents各占一个8-GPU节点，共享研究记录和checkpoint，但无外部teacher模型、无人类建议，只使用公开数据。
- 最终配方：①SFT：基于公开推理语料AM-Thinking-v1-Distilled（占76-87%）；②GRPO：关键trick是每个rollout以1/4概率用greedy decoding，以惩罚重复循环；③跨agent权重合并+任务向量外推1.2-1.3倍；④自蒸馏（RFT）：采样4个答案保留最短正确者，微调，再平均两agent结果。
关键结果
- 104小时内，team将Qwen3-4B-Base在开发集六任务均值从15.9提升到67.3，对比官方Instruct-2507为66.5；在未见held-out集从9.2提升到48.2，对比47.9。
- 成本约10,800（3,086 GPU小时，93%利用率），agent推理$1,074。
- 轨迹分析：500个jobs，255次全量评估，57次checkpoint跨agent抓取；配方收敛于单一数据源，团队从notice后开始有效共享。
最值得记住的一句话
一旦移除执行摩擦，前沿agent通过重组已知方法（SFT+RL+合并+自蒸馏）即可自主将raw base模型后训练到官方Instruct水平，证明其工程与研究能力已足以完成此类任务。