ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment
ABSeeker：基于答案回溯的细粒度信用分配训练长期搜索代理
🧭 搜索代理训练 · 步骤级信用分配
Shanghai Jiao Tong University
提出答案回溯的细粒度信用分配框架，为搜索代理的每一步提供密集步骤级监督，4B模型性能超越同规模甚至比肩30B模型。
📌 工作参考价值
- 步骤级信用分配可迁移到多步检索/推荐系统：在电商多轮对话或深度搜索推荐中，轨迹稀疏奖励问题同样突出，可借鉴答案回溯方法，利用最终正确结果（如成交、满意答案）反向推导中间关键证据（如关键商品属性、比较点），为每一步对话或检索动作生成密集奖励，改善策略学习。
- SFT中奖励加权损失提升数据利用率：ABC-SFT通过sigmoid函数将步骤评分映射为损失权重，对高质量步骤加强学习，对错误步骤抑制信号，可推广到有过程标注的业务微调中，比如用规则或LLM为会话中的每个召回/排序动作打分后加权训练。
- RL中引入步骤级优势提升探索：ABC-GRPO的折扣步骤优势（γ=0.25）将未来步骤奖励合理传播，可应用于线上强化学习调优推荐策略，替代粗糙的结局奖励，让模型更精准地关联动作与最终收益。
- 线索锚定的评分模板工程化：使用预设的加分/扣分规则表（发现正确线索+0.8、错误排除-0.8等）对每一步进行结构化评分，易于在业务中复现，尤其适合约束明确、答案可验证的任务（如搜索词纠错、知识库问答）。
动机
长期搜索代理需要多步序列动作（检索、浏览、验证、整合）来找到最终答案，但现有训练方法（SFT和RL）往往对轨迹内所有步骤一视同仁，忽略各步对最终结果的贡献差异：成功轨迹中可能包含错误或冗余步骤，失败轨迹中也可能存在有用动作。这种粗粒度的轨迹级监督导致信用分配失败，限制了关键搜索与推理行为的优化。
方法
论文提出答案回溯信用分配（ABC），核心包括两个阶段：
- 答案回溯线索恢复：利用问题与正确答案，通过一个主动的ReAct循环模型反向重建中间证据线索（实体、事实、关系），形成验证证据链。
- 线索锚定步骤评分：依据恢复的线索集，对轨迹中每一步按预设规则打分：基础分1.0，发现/验证正确线索+0.8，正确排除错误候选+0.4，错误排除正确线索-0.8，提交正确答案+1.0，提交错误答案-1.0；多行为δ累加并裁剪到[0,2.0]。
基于步骤奖励，得到两种训练变体：
- ABC-SFT：用sigmoid函数将步骤奖励映射为损失权重，加权监督微调。
- ABC-GRPO：将步骤奖励直接作为GRPO的即时奖励，并计算带折扣γ=0.25的步骤级优势，替代传统的轨迹级优势。
实验
基于Qwen3.5-4B，使用8.5k条OpenSeeker轨迹（5.5k正确+3.0k错误）训练ABSeeker，在BrowseComp、BrowseComp-ZH、xbench和GAIA-text基准上评估。与同规模（4B）代理及更大（~30B）代理对比：
- 未启用上下文管理时，ABSeeker在BrowseComp/ZH上分别达37.3%/39.1%，超过所有4B基线，并接近部分30B模型。
- 启用上下文管理后，进一步提至55.3%/52.9%，显著领先。
- 在xbench-2505上77.0%，GAIA-text 81.6%，均为4B模型最佳。
- 消融实验显示：ABC-SFT对比标准SFT在各任务上有2
8个百分点提升；ABC-GRPO较标准GRPO提升约45个百分点。步骤奖励分布显示，失败轨迹中近10%的步骤仍获高于1.0的奖励，成功轨迹中约4%步骤低于1.0，印证了细粒度监督的价值。
一句话总结
利用已知答案反推中间线索，为搜索过程中的每一步提供精确奖励，是提升小模型长程搜索能力的有效途径。