DeltaTTG: Training Multi-Turn Agents with a Token-to-Go Progress Meter
DeltaTTG：用 Token-to-Go 进度计训练多轮 Agent
🧭 多轮 Agent RL · 过程信用分配 ★ 深度解读
Nanyang Technological University · Renmin University of China
训练一个可复用的 Token-to-Go 进度计，将稀疏回合优势按步骤进步量重分配，提升多轮 Agent RL
📌 工作参考价值（4 点）
- 在电商/搜索多轮 Agent 训练中，可直接复用 TTG 思路：把用户会话中“从当前搜索/推荐状态到最终下单/满意还需生成的 token 数”作为剩余工作量监督，从线上日志低成本构建 progress meter，无需人工标注步骤好坏。
- 冻结一个跨策略/跨模型共享的 progress meter，用 Δ_t = c_t - c_{t+1} 将回合级 outcome advantage 在步骤间重分配；保持 trajectory advantage 符号和 token 均值不变，工程上只改 loss 中的 advantage 分配，容易接入现有 GRPO/DAPO 等 RLVR 框架。
- 采用 sign-aware 分配 + 均匀混合（ρ=0.2）+ token multiplier cap（M=5）可稳定训练，尤其是在多轮推荐/对话场景正负样本不平衡时；消融表明去掉 sign-aware 或 uniform mixing 都会掉点。
- progress meter 可用于线上推理的动作选择：在候选 query/商品/工具调用上试执行并用 meter 估计进步，选择进步最大的分支，论文显示在多个 actor scale 上都能提升成功率并减少交互步数。