Self-evolving LLM agents with in-distribution Optimization
自进化 LLM 智能体与分布内优化
🧭 LLM Agent 自进化训练 · 离线强化学习 ★ 深度解读
Eindhoven University of Technology · University of Liverpool · MIT-IBM Watson AI Lab
提出 Q-Evolve，通过混合离线数据的加权 IQL 与 GAE 自动生成过程奖励，结合行为近端策略优化实现 LLM 智能体的稳定自进化
📌 工作参考价值（4 点）
- 在电商客服 / 导购等长程对话 Agent 中，可采用混合离线数据（专家对话 + 自身探索记录）训练价值函数，通过 GAE 从稀疏成功信号自动生成步骤级奖励，省去人工标注过程标签。
- 借鉴加权 IQL 技巧：对成功轨迹、更靠近终端步的样本赋予更高权重，能有效稳定稀疏奖励下的价值学习，可迁移至点击率预估延迟转化等类似信用分配问题。
- 使用行为近端策略优化（BPPO）结合非对称裁剪（对负优势动作允许更大抑制），可在离线数据上安全地优化策略，防止灾难性遗忘和分布偏移，适用于线上策略迭代。
- 自进化循环模式（收集新经验 → 与专家数据混合 → 重新训练价值网络 → 重新计算奖励 → 更新策略）可应用于推荐系统的用户建模迭代，让模型在有限探索成本下持续提升。