#off-policy

3 篇

CARM: Cancellation-Aware Response Masking for LLM Reinforcement Learning

CARM：面向 LLM 强化学习的抵消感知响应掩码

🧭 LLM RL 离策略响应掩码 ★ 深度解读

Moore Threads AI

用绝对 log-ratio 均值替代带符号 geometric mean，防止双向策略漂移相互抵消，提升 GRPO 训练稳定性与推理/代码效果

📌 工作参考价值（4 点）

在做 LLM 推荐/Agent reasoner 的 GRPO/PPO 训练时，可直接把现有 GeoMean 离策略 mask 换成 CARM：只改聚合方式为 mean absolute log-ratio，复用 rollout logprobs，工程成本低，且不改变 token 级 surrogate。
阈值可直接当策略漂移监控：对 token ratio band [0.8,1.28]，tau=1.02 意味着最多约 8.88% token 越界；tau=1.04 约 17.58%。可据此设置离线训练过滤阈值和预警线。
不要只 mask negative-advantage 样本：CARM 消融显示标准全量 mask 在数学和代码任务上都明显好于 negative-only；正 advantage 样本同样可能离策略，推荐/Agent 任务中奖励稀疏时更建议全量掩码。
过滤比例不是越高越好：accuracy 与 masked fraction 非单调，调试时不要只盯 mask rate，应结合验证集准确率、保留样本质量或 best-of-k 一致性来调 tau。

Training | 2026-10-01 | cs.CL | score 8/10

用采样做微调：SFT 比你想的更强

🧭 LLM 后训练 · MCMC 数据分布塑造 ★ 深度解读

Harvard University

用投影采样把离策略专家轨迹逐步变为接近基座模型分布的数据，使 SFT 在科学、数学、医学任务上超越 RL 与自蒸馏

📌 工作参考价值（4 点）

在电商/导购 Agent 里做 LLM 后训练时，如果手里有 GPT-4/GPT-5 生成的专家轨迹（如 query 改写、商品文案、购物建议），不要直接 SFT。可以先跑一遍投影采样，把专家轨迹改写到基座模型自己的分布附近，再做 SFT，能明显减少通用能力遗忘。
对难以写出 reward 的开放任务（如导购对话、医学/法规咨询生成），可以先采样出 on-policy 版本的高质量轨迹，再 SFT；这比直接上 GRPO/RL 更稳，工程上只需要离线数据加工，不改变现有 SFT 训练管线。
采样成本是一次性的，适合电商场景里「预先生成训练数据 → 日常微调」：建议 B=32、N_MCMC=10 起步，后续用 MCMC 步数作为数据质量与 token 成本的旋钮；图 5 表明加采样步数能单调降低数据 KL、提高下游精度。
如果要继续上 RL，采样 SFT 的 checkpoint 是很好的 RL 初始化，数学任务里 Sampling SFT + RL 拿到了更强结果；在商品推荐 Agent 的 RL 训练前可用同方案做 warm-start。

Training | 2026-10-01 | cs.LG | score 8/10

信任域 Q 伴随匹配：稳定离线 RL 微调流式策略

🧭 离线强化学习 · 信任域约束 · 流匹配策略微调

KAIST · Seoul National University

通过自适应控制路径空间 KL 散度，实现预训练流策略的稳定离线 RL 微调

📌 工作参考价值（4 点）

生成式推荐模型微调：若用 flow matching 生成用户行为或物品序列，TRQAM 提供了一种稳定的离线/在线 RL 微调方法，通过路径空间 KL 约束防止微调后策略偏离预训练知识过远，避免遗忘。
信任域参数自适应调度：利用对偶梯度下降自动调整 λ 的方式，可迁移到任何需要控制 KL 散度的 RL 微调场景，无需手动调节信任域大小，增强鲁棒性。
离线 RL 工程经验：在离线数据上直接进行策略改进时，本方法不依赖在线交互，适合电商日志数据的高效利用；同时，通过将路径级 KL 表示为 λ 的解析形式，简化了信任域的实现开销。
模型崩溃的预防：本文揭示 critic 病态会放大梯度误差，这一发现提醒从业者在多步生成模型（如扩散模型）微调中，应监控 critic 条件数或选用信任域方法以稳定训练。

Training | 2026-05-25 | HF Daily | score 6/10