APPO: Agentic Procedural Policy Optimization
基于过程的Agent策略优化：从粗粒度分支到细粒度决策点
🧭 Agent强化学习 · 过程优化 ★ 深度解读
University of Science and Technology of China · AMAP, Alibaba Group · Southern University of Science and Technology
通过细粒度决策点分支与未来感知信用分配，提升Agent强化学习的探索效率与最终性能
📌 工作参考价值（4 点）
- 分支位置选择：不要固定在工具调用或工作流边界，可以在整个思维序列中根据 Branching Score（token 熵 + 未来似然增益）选取影响下游的高价值 token 进行分支，能更高效地发现关键推理转折点，适合多轮搜索 Agent 的训练。
- 过滤虚假高熵：组合未来 continuation 的 policy-induced likelihood gain 可过滤掉仅因词汇稀少导致的高熵 token，只保留真正具有决策影响力的位置，避免在无关 token 上浪费分支预算。
- 双组优势估计：初始 rollout 与分支 rollout 由不同策略生成，混合计算优势会引入偏差；分别计算组内相对优势（dual-group advantage）能稳定训练，可借鉴到带在线采样的推荐链路优化中。
- 未来感知的信用分配：额外引入的未来感知优势项（基于 Ω 裁剪）对下游影响大的决策点赋予更高信用，鼓励对后果敏感的位置进行探索，可应用在长序列多步推荐的策略梯度中。