在线稠密强化学习训练规划-接地智能体用于真实 iOS 应用 UI 导航
🧭 UI Agent 在线强化学习训练 ★ 深度解读
Apple
用在线 RL 训练解耦的规划与接地 UI Agent，结合稠密/终局奖励与 GiGPPO，使 8B 模型在真实 iOS 任务上接近或超越 Gemini
📌 工作参考价值（5 点）
- 规划与 grounding 解耦：对话/导购 Agent 可把“策略决策”（是否推荐、是否反问、何时切换商品）与“执行层”（调用 API、生成卡片、点击元素）拆开；RL 只训练前者，后者用 SFT/规则冻结，训练成本大幅下降，线上也便于独立迭代。
- 稠密过程奖励 + 不对称折扣：用 LLM-as-a-Judge 对每一步的“业务进展”打分，但 dense 奖励要打折（如 γ=0.5），最终转化/成交奖励不打折。这能防止刷步骤分、拖时长，同时给稀疏转化提供中间信号。
- ASK USER 动作与模拟用户：在导购/搜索推荐 Agent 里显式加入“反问用户”原语，训练阶段用轻量 LLM 模拟用户偏好和回答，能提升交互式偏好澄清与个性化能力。
- critic warm-up 与高 critic lr：在 RL 训练推荐或对话策略时，先冻结策略训练 critic 15 步，再把 critic 学习率设为策略 100 倍，可避免初期优势噪声导致策略崩坏；critic 最终丢弃，不必精调。
- GiGPPO 思路可迁移到多并发 rollout 的搜索/推荐 Agent 训练：用状态相似度（如图像 hash 或 embedding）跨轨迹共享价值信号，尤其适合状态空间大、精确重复少的 GUI/会话场景。
幻觉感知的多智能体 RAG：用内部注意力信号做奖励塑形
🧭 多智能体 RAG · 注意力奖励塑形 ★ 深度解读
University of Technology Sydney · University of Auckland
用 TruthfulQA 校准的注意力头范数 critic 作为幻觉风险奖励，联合优化多智能体 RAG 的 query 规划、证据选择和答案生成，同时提升任务指标并降低幻觉率
📌 工作参考价值（4 点）
- 将生成链路拆成 query planner / evidence selector / answer generator 三个 role-specific LoRA adapter，共享 frozen backbone，用统一 terminal reward 做 cooperative PPO；电商问答、商品摘要、广告文案生成等场景可以用较低训练成本同时优化多个子策略。
- 用 attention head norms 训练轻量离线 critic（TruthfulQA 校准）作为 hallucination 风险 reward shaping 项，无需每次 rollout 调用外部 LLM judge，工程开销小，且可跨任务迁移到业务数据，不必为每个业务域标幻觉标签。
- 保持 backbone 和 critic 冻结，只更新低秩 adapter，避免奖励函数漂移；先监督 warm start 再 RL，降低探索难度；风险惩罚权重 λ 需要小量（论文用 0.08）平衡 task reward 与风险信号。
- 评估时不要只看 EM/F1，可引入 AHR（Answer Hallucination Rate）分离“答案重叠”与“证据忠实度”；内部信号适合作为弱监督辅助，而非替代任务奖励。
长程 LLM Agent 的多尺度策略优化
🧭 Agent RL · 多尺度信用分配与策略更新 ★ 深度解读
Peking University · IQuest Research · Tsinghua University · Renmin University of China · The University of Hong Kong
提出 MPO，组合 turn 级 GAE 与均值保持的 token 级信用分配，并用 turn 级重要性采样更新策略，在搜索/工具/自动化任务上全面超越 PPO/VAPO/SAO
📌 工作参考价值（4 点）
- 在对话式电商/购物 Agent 的多轮 RL 中，把一次完整的 assistant turn（搜索词、工具调用、加购决策、最终回复）作为宏动作，用 turn 级 GAE 传播终局奖励（下单、成交、任务完成），而不是直接在 token 序列上做 GAE。论文统计显示 turn 间方差占 critic 价值方差的 89.5%，说明 reward 信用主要在轮次尺度，token 级只需做均值保持的局部修正。
- 策略更新时使用 complete-turn importance ratio，并对其他 token 的 ratio 做 stop-gradient，只让当前 token 的 score gradient 保留 token-specific advantage。这个实现可以方便地接入现有 PPO/VAPO 训练框架，避免 token 级 ratio 带来的 within-turn distribution shift，适合 LLM 生成内容较长、但交互边界更重要的电商 Agent 场景。
- 超参上把跨轮衰减 λ 和轮内衰减 λ_intra 分开调，推荐 λ≈0.8、λ_intra≈0.95、β≈1.0。原因是一个 turn 包含大量 token，两者的时间尺度不同；业务里如果直接用相同衰减，要么跨轮信用太短，要么轮内 token 信号稀释。
- 该方法只增加一个 critic 和一个均值约束投影，计算开销低；若你的搜索/推荐 agent 已有 PPO 类训练栈，可以先替换 advantage 计算与 ratio 构造，不必重构环境或 reward。
构建而非游玩：自改进 LLM 研究代理造出匹敌顶尖玩家的炉石酒馆战棋 AI
🧭 多代理自改进与 RL 训练
Nanjing University · Shanghai AI Laboratory
自改进 LLM 研究代理系统 AutoTavern 从零构建模拟器和 PPO 策略，训练出的 AI 在天梯表现超越顶尖人类玩家
📌 工作参考价值（4 点）
- 将 LLM 用于「构建工具/策略」而非「直接实时决策」：让 LLM 离线生成模拟器、校准对手、特征或规则，在线推理仍用轻量模型，可兼顾效果与延迟，适合推荐系统实时打分场景。
- 类型化研究记忆 + 验证门（verification gates）值得借鉴：把实验结论、模型改动历史、A/B 结果存成结构化条目，新代理或新方案先过验证再采纳，减少 LLM 幻觉导致的上线事故。
- 用 PPO 训练策略时，对手/用户模拟器必须校准到真实分布（calibrated to real games），否则 sim-to-real gap 会毁掉效果；电商推荐做 RL 时应定期用真实日志更新用户模拟器。
- 构建专用决策 benchmark（类似 TavernBench），同时评测效果指标和推理延迟：LLM 在推荐决策上可能准确率高但延迟达数十秒，无法满足在线约束，必须评测真实时间窗口内的可用性。
EPIC：基于精确 KL 前缀重要性比率裁剪的 LLM 策略优化
🧭 LLM 强化学习 · 前缀级信任域裁剪 ★ 深度解读
Tsinghua AIR · ByteDance Seed · Tsinghua University
提出前缀累积似然比作为精确重要性权重，用 r-1-log r 坐标构建校准裁剪目标，稳定离线 MoE RL 训练
📌 工作参考价值（4 点）
- 电商/Agent 场景若用 RL 微调 LLM 生成商品文案、对话策略或搜索词，常面临异步 rollout 与离线策略偏移，可借鉴前缀级重要性比率裁剪：它比 token 级 GRPO 更能感知前缀累积漂移，又比序列级 GSPO 保留早期位置信号。
- 在 MoE 架构的 LLM 训练中，EPIC 无需存储专家路由索引即可稳定训练，大幅降低 driver 进程内存（对比 R2/R3 降 77.5%/93.0%），适合资源受限的大规模部署。
- 实现上只需对现有 PPO/GRPO 损失做轻量改造：累计 log ratio 得到前缀比率，按校准边界裁剪，无额外模型或 replay，可直接嵌入 verl 等框架。
- 信任域边界采用精确 reverse-KL 坐标和几何均值行为概率校准，比固定 clip 范围更适应长尾响应，对长序列生成任务（如多轮 Agent 交互、长文案生成）的 RL 调优有参考价值。
基于任务超图学习互补智能体组用于缺失模态下一兴趣点推荐
🧭 多 Agent 任务超图驱动的 POI 重排 ★ 深度解读
Swinburne University of Technology · Australian Catholic University · University of Tennessee · University of Tokyo · Deakin University
用任务超图动态选择互补 Agent 组，在缺失多模态 POI 重排中带来 8.4–9.1% NDCG@20 相对提升
📌 工作参考价值（5 点）
- 可把重排拆成明确任务类型（全局状态更新、候选对比、缺失模态补偿），再用超边记录 task-target-members，既便于策略学习，也便于做成本约束和消融。
- 采用固定角色 Agent + 共享冻结 LLM + 角色级 LoRA，并用任务局部状态隔离多任务执行，适合在线 Serving 中复用同一 LLM 骨干而不互相污染。
- 广播候选级共享结果再指导下轮操作，比各 Agent 独立评分后融合或单控制器顺序取证据更有效；在复杂候选排序场景可以用类似的成员间共享证据机制。
- 两阶段训练值得复用：先监督 warm-up 学 executor 和 ranking head，再固定 executor 用 PPO 学 task/member/operation/stopping 策略，并把 computation cost 直接加入 reward，得到可解释的质量-成本曲线。
- 缺失模态处理建议显式保留 mask，区分“缺失”和“零值特征”，只利用可用证据更新候选状态，不改原始模态；这比丢弃 mask 或插补更稳健。
Player-1：通过合成经验学习游戏控制的后训练框架
🧭 游戏智能体 · 合成经验强化学习
National University of Singapore · ARC Lab, Tencent IEG · Nanyang Technological University
Player-1利用合成环境和PPO强化学习，将游戏智能体MineDojo-300成功率提升至38.33%，远超SFT基线
📌 工作参考价值（4 点）
- 合成环境+程序化奖励训练Agent决策：可借鉴到电商搜索/推荐Agent的离线策略优化，构建模拟用户交互（点击、浏览、反馈）的合成环境，避免线上试错成本，用PPO在多样化模拟器中提升Agent多步决策能力。
- 复合动作空间扩展：论文中同时组合键盘+鼠标的复合动作在RL中使用频率增加，类比到对话式推荐或搜索Agent，可建模同时生成query+点击筛选等复合操作，更贴近真实用户行为，值得在动作空间设计上尝试。
- SFT初始化+多环境PPO两阶段范式：先用人类演示数据SFT，再在多个随机化合成环境中用PPO探索优化，这比单纯SFT能获得超越模仿的策略，适用于电商客服Agent、自动谈判Agent等需要长期回报优化的场景。
- 环境随机化提升迁移泛化：通过对观察和动力学进行随机化，覆盖更广状态空间，可应用于构建电商搜索模拟器时加入用户偏好扰动、延迟响应等噪声，提高策略鲁棒性。
TPPO：用于语言模型推理的追踪价值 PPO
🧭 RLVR 中 PPO 价值函数参数化改进 ★ 深度解读
Zhejiang University · Westlake University · Shanghai AI Laboratory · The Hong Kong University of Science and Technology · Nanjing University
将 PPO critic 改为逐 token logit 增量累加，在稀疏二元奖励下显著提升推理训练的 token 级信用分配与策略性能
📌 工作参考价值（4 点）
- 若在 LLM 驱动的对话式推荐/搜索 Agent 中用 PPO 做 RL 训练，且奖励是终端转化/点击式的稀疏二元信号，可将 critic 从独立预测 prefix value 改为累积 logit 参数化：每 token 输出一个 scalar，累加后 sigmoid 得到 prefix value，损失用 BCE；实现成本低，不需要 process reward。
- 该方法直接改善 GAE 中相邻 token 的优势排序，减少噪声信用分配；对于需要区分多步推理中关键步骤（如商品筛选、需求澄清）的场景，能提升策略学习的稳定性，尤其适合长轨迹 CoT。
- 注意其假设是 γ=1、binary terminal reward；若业务奖励是 dense 或连续值（如 GMV、转化概率加权），需先做二值化或改造 logit 分解，否则收益可能不成立。
- 在评估 critic 质量时，可借鉴 SNR-conditioned sign accuracy 与 MC anchor 估计，用少量采样诊断训练中 critic 是否在跟踪值演化，避免训练后期价值函数退化。
ViSkill：用演化视觉原生技能强化 VLM 智能体
🧭 Agent 强化学习 · 视觉技能库
Zhejiang University
提出 ViSkill，将成功轨迹编码为视觉原生技能卡，检索引导推理与奖励塑造，形成技能库与策略优化闭环
📌 工作参考价值（4 点）
- 视觉原生技能表示：在电商导购/UI 自动化 Agent 中，截图、布局标注等视觉信息不要全部文本化；把成功交互的关键帧保存为“视觉技能卡”，检索后直接作为多模态上下文，减少空间关系丢失，提高策略泛化。
- 技能库与策略优化闭环：将成功轨迹蒸馏回技能库，并让检索技能同时用于推理和奖励塑形，使技能积累与策略改进互相强化；业务 Agent 可用类似机制积累成功会话片段，提升样本效率。
- 冷启动机制：用少量高质量演示初始化技能库，加速早期 RL 训练；新业务或新场景上线时，可从历史专家轨迹构建种子技能库，减少冷启动成本。
- 奖励塑形技巧：引入检索技能相似度作为辅助奖励，有助于稳定训练，但需监控技能库陈旧度避免误导策略。
学习该记住什么：长时程反事实记忆优化
🧭 长时记忆优化 · 反事实信用分配 ★ 深度解读
University of Michigan
提出 MGPO 用反事实差分给每次记忆改写分配长时程增量效用，训练紧凑可迁移记忆策略
📌 工作参考价值（4 点）
- 在会话式推荐或多轮 Agent 中，对用户画像/上下文的每次更新，用反事实差分评估该更新对后续推荐或决策的增量价值，而不是仅用最终转化或奖励信号，能更准确地学习何时保留、丢弃或改写记忆。
- 工程上解耦记忆写入器与下游读取器（推荐模型/LLM），可以用小模型训练 compact 记忆生成策略，再服务于多个大模型，降低推理延迟和成本；论文中 8B writer + 14B reader 的组合可跨模型家族复用。
- 采用 potential-based reward shaping 技巧：从回报中减去更新前状态的未来效用作为控制变量，保持策略梯度无偏同时降低方差，训练更稳定。
- 对于长文档/长会话中延迟价值的信息，设计跨未来多个步骤的边际收益聚合，并用位置相关 EMA 归一化不同步长的回报，可借鉴到长时记忆策略的 RL 训练。
EasyPPO：稳定 Critic 是 PPO 稳定训练的关键
🧭 RLVR / PPO 训练稳定性优化 ★ 深度解读
University of California, Berkeley · Princeton University
通过 actor-only 截断过滤、按回报方差加权 critic 损失和较小 critic mini-batch，稳定 PPO 训练并全面优于现有方法
📌 工作参考价值（4 点）
- 若在搜索/推荐 Agent 或生成式排序中用 PPO/RLVR 训练 LLM，不要同时对 actor 和 critic 过滤超长 rollout：截断样本保留给 critic 学习，能避免策略偏向“早点截断也能拿到的条件奖励”，同时 actor 侧只过滤截断样本仍可降低噪声。
- 当不同 query / 用户组 / 问题上的 reward 方差差异很大（如连续奖励：转化金额、延迟、GPU kernel 加速比等），对 critic loss 使用 prompt 组内回报标准差的倒数加权，可以在现有分组采样 rollout 的框架下低成本实现，防止少数高方差 prompt 主导 critic 更新。
- 工程上 critic mini-batch 不必等于整个 rollout batch；默认切成 4 个 mini-batch 并做 gradient clipping，能限制 outlier 影响范围。若改变 mini-batch 数，记得按 η ∝ 1/√K 调整 critic 学习率。
- 训练监控可以看 critic 的 explained variance 和 clip 前 gradient norm；持续大幅波动或 EV 突然下降通常是 critic 失效的前兆，可作为在线崩溃预警。
PACT：从信用分配到 Critic 对齐
🧭 LLM 强化学习的信用分配与 Actor-Critic 训练 ★ 深度解读
Peking University · Xiaohongshu
证明 token 级信用唯一等于条件奖励差分，提出 Actor-then-Critic 加重要性采样的 PACT，在数学与编码基准显著超越 PPO/GRPO/SAO
📌 工作参考价值（4 点）
- RL 微调推荐/搜索 Agent 时，用 Actor-then-Critic 顺序并对 critic 目标做 importance sampling 校正：先更新 actor，再用更新后 actor 与旧 rollout 的重要性比修正 critic 的 value target，避免 PPO 中 critic 始终落后一个 policy 版本的问题；适合点击/转化/任务成功等 0-1 或归一化 reward。
- Value/critic 训练用 BCE 替代 MSE：在 reward ∈ [0,1] 条件下两者最优解相同，但 BCE 收敛更快、正负样本 value separation 更大；对稀疏奖励、长轨迹的搜索/推荐 Agent 训练尤其实用，可直接替换现有 critic loss。
- 长 horizon outcome-only reward 场景优先使用 GAE λ=1：论文证明 λ<1 会保留中间 critic 误差，且 token credit 近似稀疏时误差可能主导信号；业务中如果只有最终转化/成交 reward，建议 λ=1 或直接使用 RLOO/GRPO 的 response-level baseline，避免细粒度 critic 噪声。
- 响应级 baseline 与 token 级 credit 在期望梯度上等价：RLOO/GRPO 不必强行改造成 token-level advantage；如无高精度 critic，保持 response-level 信号在期望上是安全的，但若要利用长程结构化信息，应优先提升 critic 对齐度和估计准确性。
重新思考 PPO 中的 Critic 学习：理解并缓解价值平坦化
🧭 PPO critic 稀疏监督优化 ★ 深度解读
Shanghai Jiao Tong University · Shanghai AI Laboratory · Westlake University · Nanjing University · Tsinghua University
发现 PPO critic 的价值平坦化失效模式，提出仅对少数间隔状态施加 critic loss 的 SP3O，提升推理策略与训练稳定性
📌 工作参考价值（4 点）
- 若用 PPO/RLAIF 优化多轮对话、Agent 或推荐策略且奖励常是 terminal（转化/完成/点击），可把 critic loss 从逐 token 改成只对 3-5 个间隔位置（如 30%/60%/90% 加尾部）监督；实现只是 loss mask 改动，通常不增加 rollouts，但能改善 token 级 credit assignment。
- 建立 critic 价值分辨率诊断：对中间状态采样多条 continuation 估计 MC value，对比 critic 预测的响应内变化幅度；若 critic 变化远小于 MC，即存在 flattening，从而避免只看 response-level AUC 或 loss。
- 对长序列训练，关注相邻状态表征/梯度冗余：密集监督会产生大量相似更新，稀疏锚点能提升 critic 表征 effective rank、降低 actor 更新震荡，可结合训练稳定性指标上线验证。
- 如果业务里使用 PPO 并观察到训练不稳或 critic 无法区分过程好坏，不妨尝试 sparse critic supervision；论文还提示 tail anchor 对减少重复输出有额外收益，可在长文本生成任务中单独试验。
交互式记忆学习用于长期对话
🧭 多智能体协作记忆优化 ★ 深度解读
Harbin Institute of Technology, Shenzhen · Pengcheng Laboratory, China
提出 ICML 多智能体在线强化学习框架，Planner 与 Trigger 通过跨会话延迟奖励共同进化，实现记忆策略自演进
📌 工作参考价值（4 点）
- 将记忆写入（Planner）和记忆召回（Trigger）拆成两个可学习策略，用 PPO 在线更新，适合客服/导购等用户偏好频繁变化场景；Planner 过滤噪音控制上下文长度，Trigger 按当前 query 选择记忆。
- 跨会话延迟奖励机制：把未来响应质量反传回当初的存储决策，解决记忆价值滞后问题，可迁移到电商中用户长期反馈对画像写入策略的反哺。
- 用 Retrospective Session Synthesis 反向生成一致故事线并标注记忆依赖，做冷启动专家数据，可借鉴为合成用户会话数据训练记忆策略，缓解在线 RL 稀疏奖励。
- 实现 plug-and-play，不改闭源 LLM 权重，仅训练小模型策略，构造延迟约 63ms、检索约 13ms，对已有线上 LLM 对话系统做记忆增强成本低。
T1：面向长程任务的终端Agent强化学习
🧭 终端Agent强化学习与MoE稳定训练 ★ 深度解读
Tencent Hy Foundation Model Frontier · National University of Singapore · University of Georgia · Indiana University · University of Maryland, College Park
122B MoE终端Agent靠RL在Terminal-Bench 2.1达64%，用TITO+R3稳定训练与密集验证奖励
📌 工作参考价值（4 点）
- MoE 训练-推理一致性：对大规模稀疏模型，记录推理时每个 token 的专家路由掩码并在训练时重放（R3），同时让训练直接消费采样时的 token ID 而非重新渲染文本（TITO），可消除训练-推理 log-prob gap，避免梯度更新到错误的专家子网络。对推荐系统中带 MoE 的排序或召回模型同样适用。
- 密集奖励设计：用绝对通过断言数而非通过比例作为 RL 奖励，并固定全局尺度（S=20），保留不同难度任务/用户价值差异。在电商多目标 RL 中，可借鉴“绝对达成数”作为奖励，避免归一化掩盖长尾或高价值任务。
- Critic warm-up 与健康度监控：先在有监督数据上预热 critic 一个 epoch，设置 critic 学习率为 actor 的 30x，并用 explained variance（全局方差约减）持续监控。冷启动 critic 可能导致 EV 为负，大幅拖慢 RL 收敛。
- 数据质量审计防 reward hacking：用 LLM 对训练任务做语义审计，硬拒绝隐藏需求、测试泄漏、解决方案捷径、verifier 过弱等。在推荐/Agent 任务构造中，可复用该流程过滤低质量或可被刷分的训练样本。
组自适应裁剪策略优化（GAPO）
🧭 RLVR 训练 · 自适应裁剪 ★ 深度解读
University of Toronto · Amazon
将 RLVR 中固定裁剪上界改为按组内正确数 c 闭式缩放，保护稀有正确 rollouts 的探索信号
📌 工作参考价值（4 点）
- 在电商/搜索/对话式推荐中用 GRPO/GSPO 做 LLM 微调时，可以直接把固定 clip 上界换成 GAPO 的闭式自适应上界：epsilon_hi(c) = epsilon_lo + (epsilon_max - epsilon_lo) * (k-c)/(k-1)，只需根据当前 prompt 的 group 内正确样本数 c 调整 clip，几乎不增加超参数，且无需 reward shaping。
- 注意 advantage 归一化：不要对 group 内 reward 做 std normalize，否则会放大全对/全错组的权重，稀释稀有正确样本的学习信号；保留原始 advantage 更利于探索，这一结论可以直接迁移到 query 生成或商品文案生成的 RLVR 训练。
- 当发现模型 pass@1 尚可但 pass@k 多样性下降、困难 query 覆盖变差时，优先检查 clip fraction 是否对低 c rollouts 过高，尝试把固定上界改为按 c 线性插值，成本极低，能有效保留困难 query 上的正确生成模式。
- 若条件允许，尽量使用 sequence-level IS 而非 token-level IS；论文中 sequence-level 变体在数学基准上 pass@1 更高，且在相同 clip range 下比 token-level 更稳定，可作为架构选择参考。
ClawGym II：在 Agent Harness 上探索黑盒强化学习
🧭 Agent 黑盒 RL 训练 ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China · IQuest Research
提出统一黑盒 RL 框架，通过不透明 harness 稳定规模化优化通用 Agent，并支持混合 harness 联合训练
📌 工作参考价值（4 点）
- 把生产 harness 直接当 rollout engine，而不是重写 agent loop：电商/广告/搜索推荐中的 Agent 常运行在复杂编排系统里，重写会丢失上下文管理、重试、工具调度等关键行为。可以在模型服务边界加 proxy 拦截所有模型调用，以 token-in-token-out 记录真实推理轨迹，再拿去做 RL 训练，避免训练-推理不一致。
- 用 prefix tree 恢复分叉、去重的多轮轨迹：同一 rollout 可能因 compaction、subagent、重试产生大量共享历史。组织成前缀树后，只优化 main trajectories，过滤 dead leaves 和过分支 rollout，能显著降低噪声、提升训练效率；推荐/搜索 Agent 的多轮交互同理适用于这种树结构消重。
- 引入 token-level importance sampling 校正 rollout 与训练引擎概率差异：训练和推理引擎即使同一模型也可能因数值精度、并行方式产生 log-prob 偏差，直接优化会带 off-policy 噪声。加一个截断的 token 级 IS ratio 是低成本、易迁移的稳定性 trick。
- mix-harness 训练可提升跨执行系统泛化：如果业务中同一策略会跑在不同工具接口、不同上下文管理或不同编排系统上，可把同一 task 与多个 harness 配对，按 task-harness pair 做分组 advantage 归一化，再联合梯度更新，避免策略过度绑定单一系统。
陈旧但稳定：面向异步强化学习的陈旧自适应信任域
🧭 异步 RL 训练稳定性优化
Tencent Hy LLM Frontier · National University of Singapore · University of Maryland, College Park · University of Georgia · Indiana University
用 detached log-ratio 作为陈旧度代理，自适应收缩 PPO 区间端点，稳定异步 RL 训练
📌 工作参考价值（4 点）
- 在电商/广告推荐系统的在线异步 RL 训练（如 PPO 策略梯度）中，可直接复用 detached log-ratio 作为 staleness 代理，无需额外模型即可量化策略与行为策略的偏差，据此识别高风险更新样本。
- 采用 仅收缩 sign-selected 端点 的区间约束，在保留大部分 token 原有 PPO 行为的同时，仅对高陈旧度导致的异常外向更新进行保守截断，实现细粒度稳定控制。
- 针对推荐模型可能采用的 MoE 架构，路由重放（routing replay） 技巧可缓解异步陈旧带来的路由不一致问题，与裁剪配合形成互补稳定器，适合大规模稀疏激活的推荐模型训练。
- 工程上，该方法在 SGLang 多推理引擎 + Megatron 异步训练框架下验证有效，可直接迁移到类似解耦架构的推荐 Agent 在线学习系统中，提升训练吞吐下的策略稳定性。
预测散度掩码：LLM 强化学习的信任域方向优化
🧭 LLM 强化学习 · 信任域方向准则
Tencent Hunyuan · UIUC · NUS
提出预测散度掩码替代 PPO 比率方向测试，用散度变化预测决定是否屏蔽 token
📌 工作参考价值（4 点）
- 在推荐/Agent 的 RL 策略训练中，PPO 原有的 ratio 方向屏蔽可能导致错误保留会使散度增大的更新，改用散度方向预测可提升离线更新的稳定性与效率。
- 当策略输出为 top-K 候选时（如推荐列表生成、对话动作筛选），论文的两种轻量级 top-K 估计器可直接嵌入，无需完整分布即可计算散度变化方向。
- 预测散度掩码的闭式解计算开销低，适合大规模线上 RL 训练时的 token 级动态屏蔽，降低训练-推理分布漂移风险。
- 该方法对模型规模与精度设置鲁棒，可以无缝集成到现有 PPO/DPPO 训练框架中，改善 reward hacking 并提升最终策略质量。
超越欧几里得裁剪：用黎曼等距策略优化克服 LLM RL 探索崩塌
🧭 RL 训练方法 · 几何优化 ★ 深度解读
Tsinghua University (AIR) · ByteDance Seed
发现 PPO-Clip 的欧氏度量与策略黎曼流形不匹配是探索崩塌的根本原因，提出 RIPO 实现等距更新以平衡探索与利用，大幅提升推理 RL 性能
📌 工作参考价值（4 点）
- 在推荐/搜索的 policy gradient 训练（如 PPO 排序策略、对话策略）中，直接用 epsilon = sqrt(delta / pi_old) 动态裁剪重要性比，让低概率动作（冷门 item / 新动作）获得更大更新空间，避免过早收敛到高频动作，保持策略多样性。
- 工程实现时，将信任域半径 δ 设为 0.02~0.05 即可稳定工作，无需复杂调参；可对用户行为序列中不同位置的 token 或动作单独计算裁剪边界，兼容现有 GRPO/PPO 框架。
- 对于多臂赌博机 / 上下文 bandit 在线学习，几何等距裁剪能缓解热门臂的过度利用问题，思路可迁移至 EE 场景的策略更新规则。
- 在 LLM Agent 的 RL 训练中（工具调用、查询改写），RIPO 可防止 Agent 重复使用少数高频工具而忽略潜在有效的探索路径，提升长程任务成功率。
超越统一 token 级信任区域的 LLM 强化学习
🧭 推理强化学习 · 信任区域 ★ 深度解读
Tencent Hunyuan
提出 CPPO，通过位置加权与累计前缀预算的 token 掩码，使信任区域匹配自回归结构，显著提升推理 RL 的稳定性和准确率。
📌 工作参考价值（4 点）
- 位置感知的信任区域分配：在 LLM 强化训练中，不应使用统一的 token 级阈值。可以对早期 token 施加更严格的约束，后期放松，权重可采用线性递减调度（如从 1 到 w_min）。这在长序列生成任务（如多轮 Agent 对话、推荐解释文本）中特别有用，可防止早期偏差扩散。
- 累计前缀预算机制：不要独立评估每个 token 的散度，而是跟踪加权前缀平均散度，一旦累积超过阈值就动态收紧后续 token 的允许散度。此方法可作为 drop-in 掩码直接嵌入现有 PPO/GRPO 训练流程，无需修改损失函数或优势计算。
- 通用性：方法不依赖特定的散度估计（TV/KL 均可），且与不同的 token 级散度近似（Top-K、Binary）兼容。适用于电商场景中的商品描述生成、对话策略优化、生成式推荐序列建模等需要 RL 微调的场合。
- 自适应阈值设置：在基础模型训练初期，可采用基于序列自身散度分位数的自适应 δ_b，避免过度裁剪早期探索。稳定后切换为固定阈值，平衡探索与稳定。
重新思考LLM强化学习中的散度正则化
🧭 LLM 强化学习训练·信任域正则化 ★ 深度解读
Tencent Hunyuan · UIUC · NUS
提出DRPO，用连续二次正则化替代硬掩码，实现基于Binary-TV散度的平滑信任域，提升LLM RL训练的稳定性与效率
📌 工作参考价值（4 点）
- 信任域设计应从比例转向绝对概率偏移：在长尾词表的LLM策略优化中，重要性比率 (ratio) 不能准确反映分布变化。DRPO 通过 Binary-TV 散度（|π-μ|）定义信任域，对高频token更严格、对低频token更宽松，避免 PPO 对稀有token的过度惩罚，适合电商推荐中大量长尾item的生成式建模。
- 用平滑正则代替硬掩码，提供连续纠正信号：DPPO 的硬掩码在边界处梯度突变且无纠正。DRPO 的二次正则项产生有界、连续的梯度权重，边界内逐步衰减更新，边界外反向修正。这种设计可迁移到多智体训练、推荐模型RL微调等需要稳定策略更新的场景。
- 正则项必须与优势绝对值 (|A|) 挂钩：DRPO 通过 |A| 加权正则项，使信任域边界独立于奖励尺度，避免小优势token过纠、大优势token欠纠。在多轮对话Agent或推荐系统中，奖励信号常带噪声，该设计能增强训练鲁棒性。
- 低精度 (如FP8) 训练场景下更稳健：由于训练-推理数值不匹配加剧off-policy程度，DRPO 的 bounded gradient 在 FP8 E2E 设置下仍保持稳定，而 ratio-based 方法（GRPO/SPO）易崩溃。对于需要降低成本的大规模工业训练（如电商LLM部署）具备直接工程价值。
StepPO：面向智能体强化学习的步骤对齐策略优化
🧭 智能体强化学习 · 步骤级策略优化 ★ 深度解读
University of Science and Technology of China
将智能体RL从令牌级MDP重构为步骤级MDP，通过步骤级信用分配和重要性采样，显著提升多步交互任务性能。
📌 工作参考价值（4 点）
- 步骤级信用分配适用于多步交互场景：在电商搜索、多轮对话推荐等需长链路决策的任务中，将信用分配到具体交互步骤（如搜索、点击、信息获取）比平铺到所有token更能识别关键动作，可直接借鉴步骤级GAE取代令牌级或轨迹级优势估计。
- 步骤级重要性采样稳定多token动作更新：当智能体每步生成多个token时，采用几何平均重要性比率可避免长动作的极端梯度，适合业务中工具调用、长文本生成等场景，直接应用于PPO更新。
- 工程上采用步骤原生轨迹表示：训练框架以步骤为单元存储状态、动作、奖励，实现更紧凑的上下文管理与前缀复用，能降低多步交互的推理与训练成本，适合生产环境异步训练与混合智能体管理。
- 对架构与数据管线的启示：通过网关+数据池解耦智能体与训练系统，支持异构智能体（规则、黑盒、白盒）异步贡献轨迹数据，可迁移至多来源推荐/客服智能体的持续优化。
ESPO：基于近端策略优化的早停机制
🧭 面向LLM推理的强化学习训练效率优化 ★ 深度解读
Tongyi Lab, Alibaba Group · Peking University
通过logit遗憾值与价值门控在rollout中即时终止失败轨迹，提升数学推理准确率并节省超20%训练token
📌 工作参考价值（4 点）
- Agent多轮交互训练可复用早停逻辑：在电商导购、多智体协作等长轨迹RL训练中，可基于策略logit与价值估计设计类似的门控，提前截断已明显失败的对话或动作序列，减少无效计算，并将截断点作为吸收失败状态注入负TD误差，改善信用分配。
- 无需额外模型或人工标注的失败检测：利用已有policy的logit向量计算代理遗憾值（当前token与贪心选择的概率差），结合EMA归一化与critic价值比较，几乎零额外计算成本即可判断是否继续生成，适合资源敏感的业务场景。
- 可作为现有PPO-based方法的即插即用组件：ESPO不改变PPO优化目标，只修改rollout收集过程，可与GRPO、DAPO等改进方案叠加。实际部署时只需在采样循环中加入轻量判断，且可通过比例控制器动态调整终止率，适配不同任务难度。
- 避免熵崩溃与不当压缩探索：实验表明ESPO不会导致策略熵下降过快，反而较标准PPO维持更高熵，这对推荐/对话场景下保持多样性有意义。同时约2.7%的假阳性截断率可控，整体收益远大于误杀代价。