AREX: Towards a Recursively Self-Improving Agent for Deep Research
AREX：递归自改进的深度研究智能体
🧭 Agent 递归自改进 · 长视野研究
Beijing Academy of Artificial Intelligence (BAAI)
利用发现-验证不对称性，将部分验证的解递归地转化为更聚焦的研究问题，实现长视野深度研究。
📌 工作参考价值
- 多约束查询分解与验证：电商搜索中用户需求常隐含多个约束（价格、品牌、特殊属性），可借鉴 AREX 将问题分解为约束束，通过递归验证式搜索逐条核验，避免一次性返回不满足所有条件的商品。
- 自主上下文更新工具：长对话推荐或 Agent 任务中，上下文膨胀会干扰决策。可训练模型自主调用“上下文更新”工具，将已验证的产品属性、未解决的约束及被排除的候选项压缩为紧凑状态，以替代全量历史，降低 token 成本并提升后续推理准确度。
- 关键步聚焦训练：强化学习优化推荐策略时，可标注“关键决策步”（如首次命中正确类目、修复错误搜索方向并转向），对它们施加额外的奖励塑形或集中训练，避免奖励信号被大量常规步庸稀释，显著提升长路径任务成功率。
- 双层循环架构：对于需要持续改进的生成式推荐（如营销文案生成、动态选品策略），可引入内循环产出草稿，外循环按置信度审核并针对性优化未满足的约束，实现可控的、以验证驱动的自我改进，而非无序重试。
动机：深度研究任务的难点在于答案需同时满足多个耦合约束，发现有效候选代价高，而验证单个约束相对容易。这种发现－验证不对称性表明，智能体不应只靠延长搜索，而应递归地利用已验证的部分解来指导后续研究。AREX 正是针对这一需求设计。
方法关键点
- 双层递归架构：内研究循环逐步收集证据、构造临时答案；外自改进循环按约束逐项审计答案，识别未解决的断言，并给出针对性的下一轮研究目标。当置信度不足时，外循环判断轨迹是否可恢复，选择保留有用发现并转精炼，或丢弃噪声重启。
- 自主上下文更新工具：内循环中，模型自主调用
update_context将增长的历史压缩为紧凑的改进状态，保留已验证发现、未解决约束、被拒候选和下一步计划，避免全量历史对后续推理的干扰。该工具由 AREX 自身学习产生，与当前研究目标对齐。 - 多阶段训练：包含多轮能力渐进训练（先浏览器密集型任务建立工具使用，再专家推理数据强化深度思考）、混合能力巩固阶段，以及长视野强化学习。在训练中引入关键步聚焦监督：基于规则检测出发现关键证据、纠正错误搜索方向、关键上下文更新等决策步，集中优化这些高损失步骤。
- 步级感知的强化学习：采用层级归一化的分组策略优化，辅以关键步额外奖励塑形，使信用分配更侧重于决策临界步，而非平均稀释到所有动作。
关键结果
- 在BrowseComp、DeepSearchQA、GAIA、WideSearch、HLE等基准上，AREX-Base（122B总参数，10B激活）大幅超越同规模基线，且与更大激活参数量模型可比。例如 BrowseComp 82.5，WideSearch-en 82.0，均达最佳水平。
- 消融显示，自主上下文更新提升 BrowseComp 精度 11.8 个百分点；外自改进循环带来 10-11 个百分点增益；关键步聚焦监督贡献最大，替换为随机步重放后精度从 82.5 降至 74.1。
一句话记住：将验证纳入递归循环、让智能体自己决定何时压缩上下文并聚焦关键决策步训练，是低成本实现强深度研究 Agent 的有效路径。