Lean4AgenticRL: Advancing Agentic RL with Verifiable Multi-level Process Rewards
Lean4AgenticRL：可验证多层级过程奖励推进 Agentic RL
🧭 Agentic RL 多层级可验证过程奖励 ★ 深度解读
Amazon Web Services · University of Illinois Urbana-Champaign
用 Lean4 统一多层级可验证过程奖励，配合 workflow-stage-normalized GRPO 稳定提升 Agentic RL 训练效果
📌 工作参考价值（4 点）
- 把导购/搜索 Agent 的复杂任务拆成可验证的工作流 stage（如需求澄清、商品召回、排序、话术生成），为每个 stage 定义 post-condition 并用规则/轻量 LLM judge 给中间奖励，使 RL 训练信号更密。
- 对 agent 的工具调用设置 penalty-only 的低层奖励（-1/0），专门惩罚重复查询、空操作、固定占位命令等 reward hacking；不给正奖励，避免策略利用，工程上容易实现。
- 在 GRPO 中将 advantage 按工作流 stage 而不是整条 rollout 归一化，使不同轨迹中相同语义步骤可比，改善长 horizon 信用分配，适用于多轮对话推荐和搜索 agent。
- PSWF plan-then-execute 可作为轻量级 prompt 策略单独使用：先让模型探索环境生成定制化计划，再按计划执行，即使不重新训练也能小幅提升 agent 成功率，便于快速验证业务收益。