#GAE - AI Papers Daily

Terminal-RSI: Recursive Self-Improving Terminal Agents via Recursive Self-Rewrite and Policy-Refine

Terminal-RSI：通过递归自改写与策略精炼实现终端智能体递归自改进

🧭 终端 Agent 递归自改进强化学习

Tencent Hy Frontier · National University of Singapore · University of Maryland, College Park · University of Georgia · Indiana University

用递归自改写与策略精炼交替训练，把终端 Agent 验证反馈转成策略提升

📌 工作参考价值（4 点）

可借鉴「验证轨迹重写 + 策略精炼」的交替训练范式：用业务中的 reward/verifier 信号找出成功或部分成功轨迹，先重写成更优示范再做策略更新，适合电商 Agent 的任务完成型 RL。
TB-GAE 对多轮交互做 token 级信用分配时保留衰减：在搜索/推荐 Agent 的多轮对话 RL 中，可按 turn 边界做 skip-observation GAE，避免跨 turn 的 token baseline 偏移。
FDR 与 SPR 的奖励设计适合业务落地：按任务族做 dense progress reward 校准，同时把严格成功与有界部分奖励解耦，可减少 reward hacking 并稳定训练。
Warm-up Critic 与 stage-specific LR 可迁移到多阶段 RLHF/RLAIF：先预热 critic 再更新 policy，且不同阶段用不同学习率，能提升生成式推荐的训练稳定性。

Agent | 2026-10-14 | HF Daily | score 7/10

如何稳定且高效地训练 Critic

🧭 LLM RL 的 Critic 稳定训练 ★ 深度解读

National University of Singapore · Tencent Hunyuan

BPCO 通过值域约束、MC 目标、去标准化等配方稳定单 rollout critic，性能匹配或超过 group 基线

📌 工作参考价值（4 点）

若在电商/广告场景用 RL 微调 LLM 生成推荐文案、搜索 query 或导购对话策略，可改用单 rollout critic 替代 GRPO 多采样，节省采样成本；并采用 BPCO 的 bounded value head（arctan 映射到 reward 范围）和 MC value target（λ_V=1），这是稳定性最核心的两项改动。
当 reward 由规则、评分 rubric 或成交标签产生时，让训练期 critic 额外接收这些 reward-defining 信息（如真实成交额、评分细则），policy 仅使用用户上下文和生成前缀。这样线上推理不增加任何输入，但 critic 拟合更快；小数据量时需注意过拟合。
直接移除 advantage batch normalization，使用 raw GAE advantage 更新 policy；实现成本极低，能避免策略收敛后更新不衰减、噪声被放大导致过拟合。
若生成序列长度差异大（比如长推荐理由 vs 短 query 改写），将 policy 端 GAE 改为 length-adaptive λπ(L)=1-1/(αL)，α 取 0.4 左右；critic 端保持 λ_V=1 做无偏回归，可稳定长序列上的 credit assignment。

Training | 2026-08-24 | cs.LG | score 8/10