Self-Assessment Reinforcement Learning for Search-State Awareness in Retrieval-Augmented Large Language Models
检索增强 LLM 的搜索状态自评估强化学习
🧭 Search Agent 自评估 RL 训练 ★ 深度解读
Korea University · Amazon · AIGEN Sciences · University of Massachusetts Amherst · Meridian Intelligence Global Inc
提出 SARL：训练时自评估搜索轨迹并据此修订，配合双重奖励，无推理开销地内化搜索状态意识
📌 工作参考价值（4 点）
- 训练期自评估、推理期零开销：在训练时给搜索/对话 Agent 增加一个隔离的 self-assessment 阶段，让它反思“已获得哪些证据、还缺什么”，推理时不调用评估器，不增加额外 token 和延迟。适合线上 RAG、商品搜索 query 改写、客服多轮 Agent 直接落地。
- 双重奖励设计可直接迁移到多轮检索/推荐场景：用 answer correctness 的 transition（错→对、对→对、错→错、对→错）给评估动作打分，并用 α^(n-1) 指数惩罚频繁评估。电商搜索中可对“多轮 query 改写是否带来召回/成交提升”设置类似不对称奖励，同时限制重复调用搜索接口，控制成本和时延。
- 把评估与主轨迹解耦，避免长 horizon 训练崩溃：AutoRefine/ReSeek 将反思 inline 写进每一轮，导致上下文膨胀和训练后期分数归零。SARL 将评估放在隔离上下文，只在 INCOMPLETE 时作为 user feedback 注入。做多轮对话/深度研究型推荐 Agent 时，建议将状态评估与生成轨迹分离，可稳定扩展到 32+ turn。
- 无需 SFT warmup、多智能体编排或外部裁判模型：SARL 是 standalone RL 框架，用 GRPO + 自定义奖励即可，工程复杂度低，适合资源有限的业务团队快速实验。