#On-policy

4 篇

Enhancing Rubric-based RL via Self-Distillation

通过自我蒸馏增强基于量规的强化学习

🧭 Rubric-based RL 训练优化

Zhejiang University · ByteDance

用 on-policy 自我蒸馏同时解决 rubric RL 的未被探索准则和压制准则问题，消除训练推理不匹配

📌 工作参考价值（4 点）

当使用 rubric-based RL 训练对话/推荐 Agent 时，可借鉴 CriPO 的自我蒸馏框架：对训练中从未满足的准则，构造一个注入准则提示的 teacher 模型，用局部 forward-KL 损失将缺失行为蒸馏到当前策略，无需在推理时引入额外引导，避免 train-inference mismatch。
针对 scalar reward 聚合导致部分准则信号被压制的问题（如推荐理由生成中某维度得分高但总分低），可识别与压制准则相关的 token，将其 token-level advantage 翻转为正值，保留被全局奖励淹没的细粒度模式，提升策略学习效率。
实现上，两个 self-teacher 均从当前策略加载参数（on-policy），工程简单，且实验中只需约一半训练步数即超越基线，适合资源敏感的业务场景快速迭代。
该方法不依赖外部模型或数据，仅利用 rollout 样本和准则元信息，可直接集成到现有 GRPO/PPO 训练框架中，对推荐系统的多目标/多准则 RL 对齐具有参考价值。

Training | 2026-07-20 | cs.LG | score 7/10

The Flip Side of RLHF: On-Policy Feedback for Reward Model Self-Supervised Improvement

RLHF的另一面：在线反馈驱动奖励模型自监督改进

🧭 LLM 对齐中的奖励模型自监督训练

State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China · University of Science and Technology of China · Institute of Artificial Intelligence, Hefei Comprehensive National Science Center · State Key Laboratory of General Artificial Intelligence, BIGAI

提出SAVE框架，利用在线反馈和价值锚定对奖励模型进行自监督改进，缓解策略分布偏移

📌 工作参考价值（4 点）

在推荐 RL 策略优化中，利用实时生成的 on-policy 数据与价值函数估计的期望回报计算优势值，作为自监督信号更新奖励模型，无需额外标注，同时缓解静态 RM 与策略不匹配问题。
借鉴 prompt-specific value head 设计，为每个用户或上下文动态构建价值头，自适应确定反馈阈值，过滤低质量样本，提升训练信号信噪比。
采用对比目标区分正负样本时，可直接利用策略采样结果的排序（如按 RM 打分划分）构造正负对，减少对绝对偏好标注的依赖。
方法轻量易集成，计算优势 → 过滤 → 对比更新，可嵌入现有推荐系统 RL 框架，适用于生成式推荐、对话式推荐等策略频繁漂移的场景。

Training | 2026-05-28 | HF Daily | score 7/10

RLHF Reward Model Self-supervised On-policy Value Function Alignment

Efficient Agentic Reinforcement Learning with On-Policy Intrinsic Knowledge Boundary Enhancement

基于在线策略知识边界增强的高效智能体强化学习

🧭 Agent 工具调用效率优化 ★ 深度解读

Tencent Inc · The Chinese University of Hong Kong · Shenzhen MSU-BIT University

通过在线双路径 rollout 探测知识边界，构建细粒度监督信号，在不牺牲准确率的前提下减少冗余工具调用 18%。

📌 工作参考价值（4 点）

在 Agent RL 训练中引入双路径（with-tool / no-tool）rollout 来动态评估模型是否真正需要工具，这一探测机制可直接用于电商对话 Agent 或推荐 Agent 的工具调用决策，避免因盲目调用搜索、计算等工具而增加延迟和成本。
将问题按知识边界分为四类（Tool‑dependent / Efficiency / Hallucination / Both‑wrong）并差异化构建监督信号，这种细粒度策略可迁移到多智能体协作或生成式推荐场景，用于优化不同情境下的资源调度与动作选择。
该方法作为即插即用模块，与 GRPO / DAPO / GSPO / AEPO 等多种主流 Agentic RL 算法兼容，无需修改奖励函数或优化流程，适合在现有业务 RL 训练框架上快速叠加实验。
训练过程中轨迹类别的分布变化（如 Efficiency 比例上升）可作为知识内化的可解释指标，帮助监控 Agent 对工具依赖的演化，为线上策略调整提供信号。

Agent | 2026-05-25 | HF Daily | score 8/10

Agentic RL Tool Call Reduction Knowledge Boundary On-policy Dual-path rollouts Efficiency

Post-Training is About States, Not Tokens: A State Distribution View of SFT, RL, and On-Policy Distillation

后训练关键在状态分布而非Token：SFT、RL与在线蒸馏的状态视角

🧭 LLM后训练状态分布视角 ★ 深度解读

提出状态分布视角统一SFT、RL和在线蒸馏，实验显示学生可超越退化教师且on-policy方法更稳定

📌 工作参考价值（4 点）

用状态源/信号源拆解训练策略：将推荐Agent的训练明确分为“状态采自哪里”和“监督信号从哪里来”。离线数据（如用户历史日志）提供固定状态，但Agent部署后可能遇到未覆盖的状态分布，借鉴on-policy采样（RL或在线蒸馏）能减轻分布不匹配造成的性能退化。
在线蒸馏时让学生控制状态分布：在电商场景中，Teacher模型可能在某些上下文（如长对话或冷门商品）表现差，但局部Token预测仍可用。让学生Agent在自身状态上请求教师指导（如生成短续写），类似DAgger，可以保留教师局部能力的同时避免复制教师的全局错误轨迹，实现学生超越教师。
避免单纯用标量漂移判断遗忘：业务监控时，不要仅靠rollout状态的MMD等单一距离指标下结论。论文显示，两个模型可能有相近的全局状态漂移但遗忘程度迥异。应结合状态来源分析——是在模型自身可达状态上做更新（如RL/OPD），还是在与模型当前策略偏离的固定状态上做密集离线更新（如stress SFT）。
轻量在线RL可作为能力保留手段：在追求目标指标提升时，可以先跑一轮温和SFT注入基础能力，再用在线RL（如带分组相对奖励的GRPO）在模型自身轨迹上小步优化，既能提升主任务，又可抑制遗忘。对电商搜索排序或对话Agent，可设定简单的验证性奖励（如用户点击、转化），用on-policy采样来微调，保持通用知识不退化。

Training | 2026-05-21 | cs.LG | score 8/10

Post-training State Distribution On-policy Distillation SFT RL