电商购物 Agent 的生成式奖励模型 E-GenRM
🧭 生成式奖励模型 · 购物 Agent ★ 深度解读
Taobao & Tmall Group of Alibaba · Technische Universität Wien
从真实购物行为回溯构造评价链，三阶段训练生成式奖励模型，在线提升淘宝购物 Agent 有效协助率与满意度
📌 工作参考价值（4 点）
- 用真实行为回溯构造评估轨迹：从购买结局反向切分 shopping task，将 120+ 行为信号翻译为 Agent 交互历史与候选响应对，能绕过「能力-轨迹反馈环」，持续产出覆盖长尾行为的 reward/eval 数据；适合电商 Agent 搭建数据飞轮。
- 评价链 + 三阶段训练可迁移：SFT 学动态加权 rubric 和证据支撑的 criterion-level 判断；RL 用 outcome reward + factual reward 给每个 criterion 部分信用，提供更密集训练信号；再用 teacher disagreement 和 utility margin 筛 hard negatives 提升个性化偏好敏感度。
- 主动证据检索：用 retrieval-need label 和 tool-use reward 对齐检索决策，只在上下文缺 decisive evidence 时调用工具；调用率从 95.84% 降到 22.12%，精度反而略升，适合线上成本敏感场景。
- 用 E-GenRM 后训练淘宝购物 Agent，14 天 A/B 有效协助率 +1.39pp、满意度 +2.33pp、P99 延迟 -17.88%，可直接作为生成式 RM 替代或校准 expert judge 的业务参考。
学生前缀教师适应：让教师适应学生生成前缀以提升在线策略蒸馏
🧭 On-policy 蒸馏·教师前缀适配 ★ 深度解读
Beijing Jiaotong University · Weixin AI, Tencent
在蒸馏前用学生前缀 RLVR 微调教师，提升其对学生在策略轨迹的监督可靠性，无需改变蒸馏目标
📌 工作参考价值（3 点）
- 在模型轻量化部署（如大模型蒸馏到线上小模型）时，除标准蒸馏外，先收集学生 rollout 截断为前缀，用可验证奖励（如最终答案/转化标签正确性）微调教师，使教师能“从学生所在状态继续”，可显著改善 token 级监督质量。实现时只对 continuation 部分做 RL，前缀作为 context，不模仿学生错误。
- 评估教师蒸馏能力应增加前缀条件恢复率（prefix-conditioned recovery accuracy），即给定学生常见前缀下教师正确完成的概率。该指标比独立准确率更能预测蒸馏增益；若教师在前缀上优势几乎消失，标准 OPD 可能停滞。
- 随机截断学生 rollout 作为前缀训练集，无需标注错误位置，是低成本构建教师故障恢复数据的方法。在电商文案/搜索 query 改写等任务中，可用类似方案让教师适应小模型的实际输出，并周期性从最新学生采集前缀以追踪分布漂移。
CRoS：基于打乱思维链顺序的因果奖励提升推理准确性与忠实度
🧭 LLM 推理训练 · 因果奖励设计
UNC Chapel Hill
用打乱推理步骤顺序而非改变信息内容的因果奖励，缓解结果奖励无法保证 CoT 因果贡献的问题
📌 工作参考价值（4 点）
- 在电商/Agent 场景做 LLM 强化学习时，若只用最终结果正确性做 reward，模型可能产出与答案无关的低质量推理。可借鉴 CRoS 思路：对生成的多步推理/决策轨迹做顺序打乱，观察最终答案是否变化，作为因果性奖励信号。
- 对搜索推荐里的 query 改写、推荐理由生成、Agent 工具调用轨迹等，可以先按步骤/换行/工具调用边界切分，然后随机 shuffle 几步，让模型重新给答案；若答案对顺序不敏感则说明推理缺乏因果链条，适合作为负样本或扣分项。
- 相比删除步骤或注入错误，shuffle 不损失信息，能避免模型钻空子生成冗余、低信息量 CoT；在 reward 工程中可优先采用这种破坏顺序而非内容的因果性检验方式。
- 实现成本不高：只需对已有 RLVR 流程增加一次打乱后前向推理和一致性打分，适合作为 LLM-based recommender / Agent 的辅助 reward 或 offline 过滤指标。
辅助奖励驱动的自改进：从验证轨迹中学习并评估迁移
🧭 小模型推理自改进 · 轨迹级辅助奖励
Georgia Institute of Technology
提出用置信度/熵辅助轨迹偏好区分同等正确推理，提升小模型自改进与跨任务迁移
📌 工作参考价值（4 点）
- 业务 LLM 生成推荐理由/query/文案时，常只有点击/转化等弱反馈；可引入置信度（SC）或熵变化+局部平滑度（UID-Conj.）作为辅助奖励，对正反馈轨迹打分，筛选高质量样本做 SFT，在标注有限时提升迁移表现。
- 离线加权 SFT 比在线 TTRL 更稳定且证据更强：同一响应池按辅助奖励加权训练，较均匀加权提升 1.93 点（CI [0.44,3.44]）。业务可优先做离线加权精调，成本低、便于上线。
- 辅助奖励选择依赖任务：SC 更适合判断指令遵循和轨迹质量；UID-Conj. 在多种训练设置中更利于下游收益。实际可两者都算，在验证集上选择权重或融合，而非只看推理偏好。
- 评估轨迹偏好应以最终业务指标为准，而非仅看推理期排序一致性；建立下游 A/B 或离线 proxy 评估，辅助奖励要暴露学习价值。
PIVOT：通过在线教师纠正进行渐进式干预
🧭 强化学习训练 · 在线教师干预
University of Chinese Academy of Sciences · Tsinghua University · Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences · School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences
在RLVR中插入教师纠正轨迹并施加token级KL监督，大幅提升困难推理任务的学习效率与最终表现
📌 工作参考价值（4 点）
- 在电商/Agent多步决策任务中，RLVR常因稀疏奖励（最终是否成交、任务是否完成）而训练低效；可引入教师模型（如GPT-4/内部大模型）在失败轨迹上在线生成修正步骤，并把这些修正插入学生rollout，只对插入段做token级KL蒸馏，避免整条轨迹过度依赖教师导致不可学。
- 当一组rollout全部失败时，结果奖励无梯度；可借鉴PIVOT的双重信号：先通过轨迹级干预保证至少部分轨迹包含正确片段，再对教师段做密集token级监督，这适合电商智能客服、商品推荐对话等场景中“用户不满意”的负样本利用。
- 论文的消融表明，干预位置（如失败点附近）和KL监督范围（仅教师段vs全轨迹）对最终性能影响显著；在业务中可先小规模网格搜索这些超参数，避免教师信号过强导致学生退化为模仿教师，丧失RLVR的探索收益。
- 若已有线上强模型可作为教师，PIVOT的在线纠正成本可控，适合将弱模型（部署端）通过RLVR+教师干预进行蒸馏式增强，用于推荐解释生成、搜索query改写等轻量生成任务。
RLVR 无免费午餐：pass@1 提升必付 pass@k 代价
🧭 RLVR 训练中 pass@1 与 pass@k 权衡
用定理证明 RLVR 中 pass@1 增益必然伴随 pass@k 下降，并给出精确权衡边界与诊断方法
📌 工作参考价值（4 点）
- 在电商/搜索/推荐中用 RLVR 微调 LLM 生成式召回、query 推荐或 Agent 策略时，不能只看 top-1 命中或 pass@1：pass@1 显著提升可能以牺牲 pass@k 覆盖率、多样性和长尾生成为代价，必须同时监控 pass@k 或候选多样性指标。
- 论文提供的诊断方法（从 eval log 读 pass@1-pass@k 前沿、order-preserving test、price）可直接迁移到线上 AB：评估生成式推荐/搜索改写模型的 exploration-exploitation 权衡，避免只优化单点指标。
- 熵崩溃结论提醒：RL 微调后生成多样性会塌缩，电商文案、push 消息、搜索 query 生成需要加熵正则或约束，防止生成同质化候选影响后续排序与多样性。
- 多 prompt/多任务联合优化时注意“独家专业化”现象：提升某些 query 模板或类目的生成成功率可能损害另一些，需按 prompt/类目分层监控并设置约束。
异构协同进化训练工具高效搜索智能体的零标注框架
🧭 搜索 Agent 零标注协同进化训练 ★ 深度解读
Nanjing University of Aeronautics and Astronautics · Didichuxing Co. Ltd
零标注下用异构 proposer–solver 协同进化同时优化搜索智能体准确率与工具调用效率
📌 工作参考价值（4 点）
- 用海量无标注 query 日志替代人工 QA：从用户 query 出发，先让 proposer 生成实体答案，再用检索构造证据路径并做程序化校验；电商搜索/推荐 Agent 可直接复用会话 query 和商品知识库生成训练任务，省去标注成本。
- proposer 与 solver 解耦且可异构：3B/4B 小模型就能给 7B/8B solver 出题，任务生成成本与求解器规模解耦，跨模型族还能带来互补先验；线上可用便宜模型持续产出课程任务。
- 中间难度奖励 4*Acc*(1-Acc) 自动筛选约 50% 通过率的前沿任务，避免全对/全错无效信号；业务 RL 任务生成或课程学习可直接复用，奖励任务生成器追求 mixed group。
- 工具调用效率奖励：对同一任务的 K 条轨迹，把 search call 次数按组内最大值归一化后乘 correctness，只让答对且调用少的轨迹拿高分；商品搜索/Agent 里的 API/检索调用可用 task-local 惩罚控制成本且不明显掉点。
A-RSI：零数据多模态自改进的自适应任务刷新
🧭 零数据多模态自改进训练
用训练日志中的奖励方差与准确率动态刷新任务池，实现零外部数据的多模态递归自改进
📌 工作参考价值（4 点）
- 在 RLVR/self-play 持续训练中，用训练日志中的 reward variance 和 accuracy 趋势作为任务池刷新信号，替代依赖验证集或线上 AB，可降低离线指标过拟合风险，适合推荐/广告模型的长期自训练。
- 任务生成与答案校验解耦：用可执行 program/schema 生成题目并单独审计答案，而不是 self-consistency；电商场景可基于商品 schema、用户行为规则生成可编程校验的合成任务，自动清洗噪声 label。
- 维护 model-authored program 库做零外部数据合成，可迁移到商品文案、query 推荐语料增强；用 property-based check 自动验证 reward 与刷新规则，适合离线规模化生产训练数据。
- 自适应刷新机制减少人工调参：监控窗口内学习信号下降（如 reward variance 降低或 accuracy 平台期）再触发新任务生成，能平衡训练成本与效果。
演化自教师的在策略自蒸馏
🧭 LLM 训练 · 自蒸馏教师进化
State Key Lab. of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Meituan
提出 Teacher-Evolution Self-Distillation，通过环境奖励优化自教师并自适应加权学生蒸馏，缓解 OPSD 训练停滞
📌 工作参考价值（4 点）
- 在生成式推荐/Agent 的 RLVR 训练中，可将固定 self-teacher 的蒸馏改为带环境反馈的教师进化：teacher 先 rollout，用任务正确性和上下文独立性构造 reward，再对 teacher 做优化，避免指导质量停滞。
- 利用 teacher reward 估计指导可靠性，作为样本级权重：在 student 蒸馏损失中降低不可靠样本的权重，防止错误 token 分布被放大，适合落地到电商文案生成、query 改写等 token 级 RL 训练。
- 把“是否命中上下文无关的正确答案/动作”作为附加奖励信号，与序列级奖励结合，可缓解稀疏奖励与训练波动；尤其在在线学习或持续 post-training 的 LLM 推荐/对话策略中值得尝试。
- 若内部已有 on-policy 蒸馏或 LLM 推理训练流程，可引入 teacher-student 联合更新，但需注意用 adaptive weighting 防止模型因可靠性估计偏差而 collapse。
自强化集体动力学：无监督RLVR中跨任务耦合如何驱动策略崩塌
🧭 RLVR自强化训练崩塌机制
Columbia University
揭示无监督RLVR多数投票自奖励的集体不稳定性，解释训练任务数增加导致模型答案趋同崩塌
📌 工作参考价值（3 点）
- 在电商/推荐场景用自一致性投票或 LLM 自评做无监督 RLVR 时，跨任务共享参数会导致策略崩塌到统一输出；应按 task 或 category 拆分 head/梯度，或显式移除共享方向，避免模型对所有 query 给出相同改写/推荐。
- 任务数越多越容易崩塌。多品类、多目标 RLVR 训练时监控自评 reward 与真实 accuracy 的背离，设置验证集早停；任务规模大时可加大 per-task sharpening 的隔离（如 LoRA per task）降低共享耦合 λ。
- 初始模型置信度低时崩塌风险高。业务冷启动做 RLVR 前先让 LLM 在监督数据上收敛到较自信策略，或用 KL/熵正则项（marginal-entropy bonus）稳定 uniform collective mode，防止退化。
FOCUS：面向长程语言模型智能体的主动 Critic 学习
🧭 长程 Agent 强化学习 · 主动 Critic 学习 ★ 深度解读
Johns Hopkins University
把中途状态价值细化建模为主动学习：优先在预期最大减小 Critic 估计误差的状态分支采样，并用压缩边界做长程信用分配
📌 工作参考价值（4 点）
- 在电商/搜索的 multi-step Agent（如导购助手、商品搜索 agent、售后 agent）做 RLVR 时，可以把 context compaction / 工具调用边界作为可恢复状态，计算 segment 级 TD advantage 而不是轨迹级 group advantage；能缓解 GRPO 训练后期“草率 submit/提前结束”的 collapse。
- 如果已有 critic/value model，可借鉴 FOCUS 的主动采样公式：用 expected error reduction g(c)=[2κ²b̂e²+(N−κ)σ̂²]/(κ+N)³ 选择从哪些中间状态继续 rollout，避免均匀分支浪费 token；工程上可先在小规模 offline 诊断里验证 critic MSE 与 random/residual 的差距。
- 把 critic 预测当作 pseudo-observation 与 rollout 均值按 κ/(κ+n) 融合，递归 bottom-up 备份；这种轻量 Bayesian blending 比直接用 MC 均值或 raw critic 更稳，适合预算受限的在线分配。
- 模块化把 rollout allocator、context manager、credit assignment 解耦，便于替换 compaction 协议（in-context vs memory workspace）而不影响训练主流程；业务中可先接入现有 session 摘要/记忆模块。
与开放世界共进化：面向未来预测的递归自改进
🧭 Agent 递归自改进 · 未来事件预测 ★ 深度解读
Renmin University of China · IQuest Research · Nanyang Technological University
构建代理-环境闭环，通过参数、技能、环境三轴演化实现递归自改进，连续三周登顶FutureX
📌 工作参考价值（4 点）
- 搜索-预测解耦：将证据获取（搜索团队）与预测（预测团队）分离，缓存检索结果用于训练，避免实时环境中标签污染；电商推荐中可把商品信息获取与排序/CTR模型拆开，用冻结特征训练，防止召回路上的信息泄露。
- 技能库外部化：把成功/失败轨迹蒸馏为显式技能条目，注入推理而不更新权重，适合低资源在线场景；推荐系统可把用户行为序列提炼为可复用的召回规则、排序模板或人群策略，实现低成本快速迭代。
- 环境演化生成对抗难样本：根据模型错误动态生成薄弱点任务，形成课程学习；电商场景可针对低转化人群、长尾类目或新场景自动生成更难样本，让精排/重排模型持续提升。
- 校准指标先行：用 Brier score / calibration 而非仅 accuracy 评估概率预测，能更早发现模型概率判断改善；在 CTR/CVR 预估中应同时监控校准度，校准提升往往先于 AUC 显现。
Self-Credit：通过组内重标定实现长程智能体 RL 的信用分配
🧭 Agentic RL 信用分配与上下文压缩 ★ 深度解读
Meta · New York University · Duke University
让策略模型在压缩上下文时引用关键轮次，再用同 prompt 成功/失败样本的组内对比重标定引用权重，将稀疏结果奖励转化为轮次级信用信号
📌 工作参考价值（4 点）
- 在长程 search/导购 agent 训练中，可让模型在上下文压缩时输出带轮次索引的摘要引用（要求 2-5 个 critical turns），用这些引用把统一广播的 advantage 改成轮次级加权；只需 prompt 格式约束和格式错误惩罚，不引入额外 reward model 或 critic。
- 对同一 query 的 group rollout，可按 action 的检索结果（docid 或商品 ID 集合）做 Jaccard 匹配，统计该 action 在成功/失败样本中的引用频次：只在成功侧重复出现则提权，只在失败侧重复出现则加重负优势，混合出现则取消提权。这能把“伪相关 action”从正样本中剔除，适合电商多跳搜索、商品对比、策略推荐等长程任务。
- 对重复失败的惩罚权重做线性退火（如 1.5→1.0），早期强惩罚抑制低效搜索，后期放松以保留探索，可平衡长程 agent 的工具调用效率与深度。
- 若无 gold action 标注，可用“检索到目标商品/金标文档”作为代理评估引文质量，计算 cited turns 的 F1，快速判断自生成引用是否有用。
以语义ID作为唯一物品表示的推理式重排
🧭 SID-only 推理重排 ★ 深度解读
Google · University of Toronto
构建 RERANKID 测试床，证明纯 SID 推理重排可由后训练激发；8B RLVR 在 20 倍更短提示下匹配文本 LLM，但 rationale 不可信
📌 工作参考价值（4 点）
- 候选 slate 和用户历史可只用 SID tokens 渲染，prompt token 降低 20-28 倍；长历史 (>50k 文本 tokens) 场景下，文本 LLM 停止提升，SID 模型仍保持收益。适合作为 cascade 重排中的省 token 输入，尤其是候选集大、历史长的 feed/短剧/电商猜你喜欢。
- 不要直接 zero-shot 用 SID-pretrained 模型做 slate rerank：base 模型大量返回输入顺序（identity copy）或 reasoning loop。先 SFT 解决接口，再用 RLVR + graded ranking reward（NDCG@5 作为奖励）微调；graded reward 显著优于 binary Hit@1，且只在 8B 级别有效，1.7B 无增益，说明需要模型容量。
- 固定 SID token embeddings，仅 LoRA 训练 backbone，能保留编码在 token 中的协同过滤/偏好信号；无需修改 item 编码体系即可迁移到同类 SID-pretrained 模型。
- 排序质量与 rationale 可信度可能脱节：SID 模型能排对但会幻觉物品描述。落地建议：排序用 SID 省 token，解释/文案只对 top 少数 item 检索 metadata 生成，而不是让模型在 SID-only 下描述物品。
多奖励 RL 的逐奖励 Token 级信用分配
🧭 多奖励 RL 令牌级信用分配 ★ 深度解读
University of Minnesota · National University of Singapore · University of Illinois Urbana-Champaign · University of Southern California · University of Pennsylvania
用 verifier 信息 self-replay 定位每个 reward 的相关 token，把 advantage 按相关性重分配，加速并提升多奖励 RL
📌 工作参考价值（4 点）
- 对电商/Agent 里带多个可验证约束的生成任务（商品文案、广告标题、工具调用、SQL/API 生成），把每个 reward 的 advantage 按 self-replay 的相关性分配到 token，而不是整段均匀；尤其格式类 reward 只落在标签/keyword/CTA 等少数 token，能显著加快收敛。
- 若 verifier 有可文本化信息（参考 query、执行 error、约束条件），可直接复用 MRTPO 的 leave-one-out replay：同一条 response 在 P_all 和 P_\k 各 forward 一次，用 next-token 分布的 JS 距离得到 token 权重；无需额外模型或标注，成本只比 GDPO 多 10–20%，且只在 reward 组内有方差时 replay。
- β=0.5 是不错的默认值，前 10 步 smoothstep warmup；保留 1−β 的均匀份额避免重分配过激，并可对 reallocated part 做二阶矩约束。这个方法正交于 SAW/DVAO 等 response 级 reward reweighting，可以叠加。
- 做 prompt 约束（如“必须包含关键词、以某句结尾、加双引号”）时，直接去掉单个约束 replay 能定位到 checker 实际读取的 token；对 IFBench 这类未见约束泛化提升最明显，适合冷启动或模板频繁变化的场景。
EliteReplay：质量多样性搜索保留 RL 后训练中的多样解
🧭 LLM RL 后训练多样性保持
The Ohio State University
用质量多样性搜索构建精英解档案并与 GRPO 结合回放，提升准确率同时保留 LLM 解多样性
📌 工作参考价值（4 点）
- 在 RL 微调用于搜索排序、query 改写或商品文案生成时，可引入精英档案回放：先用冻结模型采样多样正确解建立档案，训练中与策略梯度损失共同优化，避免模型只集中在少数高奖励行为，保持生成模式的多样性。
- 将质量多样性搜索作为通用记忆库机制，在 RL 训练中周期性回放高质量多样样本，可缓解模式坍缩与灾难性遗忘，适用于需要多策略并存的推荐或 Agent 协作场景。
- 评测中除了准确率，加入 pass@k 和 U@k（distinct correct strategies） 两类指标，能更全面反映模型在多解场景下的能力；在搜索建议、歧义 query 改写等业务中，覆盖多个正确意图比单一 top-1 更重要。
- 对歧义 query（如 AmbiQT）的覆盖能力可以直接迁移到电商搜索/推荐：用多样性保持的后训练模型同时召回多个可能的商品意图或生成多个改写 query，提升用户体验与召回覆盖。
面向长程智能体强化学习的树感知后验蒸馏
🧭 Agentic RL · 树回溯信用与后验蒸馏 ★ 深度解读
Tsinghua University · Tencent
提出 TreeOPSD，用树回溯信用构建有限目标分布，以 Forward-KL 后验蒸馏替代固定策略梯度，无 critic 地稳定长程 Agent RL
📌 工作参考价值（4 点）
- 多轮 Agent 训练的 rollout 预算优化：initialize-then-expand 用 M 条完整轨迹 + 每个轨迹 N 个前缀分支，在同样 token/工具调用预算下（M=4, N=2 约等于 8 条全 rollout）构造 rollout tree，获得 turn-level 信用；电商导购、售后客服等长程 agent 可直接用这种采样方式，不用改 reward 标注。
- 用有限目标替代固定 advantage 权重，缓解 sequential mini-batch 漂移：把每轮信用映射成伯努利教师 q=1/2+V/τ，再用 Forward-KL 匹配当前 policy 的 sigmoid 后验 p=σ(avg log ratio)；梯度会自动在目标处消失、过冲后反向，可以避免多轮更新中的 policy staleness，适合在线更新频率高的推荐策略。
- 点式 credit 比 listwise centering 更适合多臂/多子节点场景：分支后的父节点下多个有用子节点都应上升，listwise 的 V_c - V_i 会让它们互相抵消；在推荐/搜索的候选生成、多工具调用分支中，可以考虑把树 backup 后的 pointwise credit 直接作为监督信号。
- 长序列 off-policy 更新的数值稳定 trick：用 per-token 平均 log-likelihood ratio 构造 p=sigmoid(s)，避免整条 turn 的 likelihood ratio 指数爆炸；这个做法可复用到长文本/多轮交互的 policy 优化或蒸馏中。
后见之明特权 RLVR：免组采样的单次轨迹令牌信用分配
🧭 RLVR 单 rollout token 信用分配 ★ 深度解读
华南理工大学 · 清华大学 · 香港科技大学 · 华为2012实验室 · 深圳技术大学
用已验证轨迹的未来信息对单次 rollout 计算归一化 JSD token 权重，替代 GRPO 组采样，训练最高提速 2.30 倍
📌 工作参考价值（4 点）
- 对交互成本高、rollout 贵的电商 Agent（如导购、多步搜索、谈判）可尝试 HP-RLVR 的单 rollout 方案替代 GRPO：rollout 量降至 1/8，适合模拟器或真实用户反馈昂贵的场景。
- 工程实现上无需额外 critic 或 reference model，只需用同一 frozen policy 做两次前向：因果视图与加入未来+verifier 反馈的 hindsight 视图；verifier 结果渲染成文本 outcome descriptor，可直接复用现有推理路径。
- 落地时建议监控 zero gradient records 与同质 reward group 比例：GRPO 在稀疏 reward 下大量梯度为零，HP-RLVR 可以避免该问题，但历史 baseline 引入偏倚，需结合任务小规模 paired run 验证。
- 注意该方法的精度 tradeoff 是任务相关的：数学任务占优，代码与 ALFWorld 低于 GRPO；业务侧不能默认单 rollout credit 一定更好，应先在小流量任务上对比 best checkpoint 与完整训练耗时。
可验证奖励强化学习中动量何时有效
🧭 LLM 强化学习优化器动量策略 ★ 深度解读
Peking University · Shanghai Jiao Tong University · SIMIS · Stanford University
证明 RLVR 中固定动量增益会被采样噪声淹没，需随学习率放大 β 才能稳定获益
📌 工作参考价值（3 点）
- 在 RLVR/GRPO 类 LLM post-training 里，AdamW 的 β1 别只留默认 0.9；可以尝试 β1=1-1e-6 甚至 1-1e-9，同时观察 reward/准确率是否稳定提升。
- 如果想降学习率换取更稳训练，应同步放大 β，使 η/(1-β) 维持在安全区间，避免固定 β 导致动量增益被采样噪声淹没。
- 做带采样奖励的在线策略优化（如 Agent 任务、推荐/广告的 policy gradient）时，若发现 momentum 无效，先别否定动量，检查 lr 与 β 的比值是否过小；用少数 seed 很难区分固定 β 和 no-EMA，建议多 seed 或看 SNR。
失败乃成功之母：用有依据的事后反思重放恢复 GRPO 监督
🧭 强化学习训练 · 失败恢复监督 ★ 深度解读
University of California, San Diego · Adobe Research · University of Virginia · University of Toronto · University of New South Wales
提出 RSHD：从失败 rollout 写纠正笔记，经重放效果筛选和防泄漏后蒸馏回 plain-prompt，在 GRPO 全失败组上恢复监督信号
📌 工作参考价值（4 点）
- 如果你在业务中用 GRPO/RLVR 微调 Agent 或 LLM（如对话式购物 Agent、query 改写、推荐文案生成），当一组 rollout 全部失败时 GRPO advantage 为零，这些 hardest cases 完全被浪费。可借鉴 RSHD：对失败轨迹写不超过 80 词 corrective note，但不看参考答案；用原组 no-note 成功率作为 baseline，只保留 replay 成功率高于 baseline 的 note；再把带 note 的成功续写蒸馏回 plain-prompt，推理时零额外开销。
- 工程实现上，note 搜索可直接在 TRL GRPOTrainer 上加两个 hook，复用现有 vLLM server；训练 token 约翻倍但只在训练期。对业务中失败率高的长尾难题尤其有效：论文按 base 模型 0/8 成功率分层，RSHD 较 GRPO 的收益几乎全部落在“从不成功”的样本上，简单样本基本不退化。
- 安全与防泄漏不可省：论文观察到约 9% 的 note 直接写出参考答案，约 60% 未通过 replay 测试。复用时要保留“字符串匹配检测答案 + replay 效果筛选”，而不是直接信任 note 文本做蒸馏，否则会引入泄漏或强化错误诊断。
- 训练细节可复用：蒸馏权重用带 note 与不带 note 的 log-prob 正 lift 并 clip 到 [0,2]，只更新 plain-prompt student，teacher stop-gradient；当没有 note 被保留时该步完全退化为 GRPO，避免噪音。这个机制对业务中 RL 微调 Agent 的稀疏奖励场景很实用。
函数空间时序自蒸馏策略优化
🧭 强化学习策略优化与自蒸馏
Indian Institute of Technology Kanpur
提出FSPO单策略框架，以历史分布为固定时序目标并引入特权分歧校正，实现稳定高效的策略优化
📌 工作参考价值（4 点）
- 在训练LLM-based推荐Agent或对话策略时，可采用“历史分布作为固定时序目标”的思路，不维护独立teacher模型，减少显存（论文中峰值从70GB降至56GB），适合资源受限的迭代训练。
- “特权分歧校正”可用来抑制模型生成路径中局部过高的token概率，防止在稀疏奖励下过早收敛到次优回复，类似推荐系统中对高置信度但低转化动作的惩罚。
- “可靠性自适应接地”策略：当模型自生成证据多次失败时自动加强外部参考监督（如规则、知识库），可迁移到电商Agent的工具调用或商品推荐解释中，提高事实准确性。
- “质量与覆盖感知记忆”只保留验证过的行为并改善特权演示，可用于构建在线学习中的经验回放池，优先存储高奖励且多样性的轨迹，优化长尾场景。
DeltaTTG：用 Token-to-Go 进度计训练多轮 Agent
🧭 多轮 Agent RL · 过程信用分配 ★ 深度解读
Nanyang Technological University · Renmin University of China
训练一个可复用的 Token-to-Go 进度计，将稀疏回合优势按步骤进步量重分配，提升多轮 Agent RL
📌 工作参考价值（4 点）
- 在电商/搜索多轮 Agent 训练中，可直接复用 TTG 思路：把用户会话中“从当前搜索/推荐状态到最终下单/满意还需生成的 token 数”作为剩余工作量监督，从线上日志低成本构建 progress meter，无需人工标注步骤好坏。
- 冻结一个跨策略/跨模型共享的 progress meter，用 Δ_t = c_t - c_{t+1} 将回合级 outcome advantage 在步骤间重分配；保持 trajectory advantage 符号和 token 均值不变，工程上只改 loss 中的 advantage 分配，容易接入现有 GRPO/DAPO 等 RLVR 框架。
- 采用 sign-aware 分配 + 均匀混合（ρ=0.2）+ token multiplier cap（M=5）可稳定训练，尤其是在多轮推荐/对话场景正负样本不平衡时；消融表明去掉 sign-aware 或 uniform mixing 都会掉点。
- progress meter 可用于线上推理的动作选择：在候选 query/商品/工具调用上试执行并用 meter 估计进步，选择进步最大的分支，论文显示在多个 actor scale 上都能提升成功率并减少交互步数。
锚定噪声驱动的嵌入空间定向探索：改进 LLM RLVR
🧭 RLVR 训练探索增强
University of New South Wales (UNSW Sydney)
在 GRPO rollout 中用少量锚定噪声扰动嵌入位置替代标准采样，以极低成本提升探索多样性，优于 GRPO。
📌 工作参考价值（3 点）
- 在电商/搜索/生成式推荐模型的 RLVR/GRPO 训练中，可在 prompt embedding 后追加一个带共享锚点和高斯噪声的扰动位置，按 10%–20% 比例替换标准 rollout，低成本增加组内 reward 方差，改善优势信号。
- 对扰动 rollout 使用降权优势参与更新，可防止噪声过度干扰策略；该方法不改模型结构、解码和线上推理，适合作为现有 GRPO 训练管道的即插即用探索插件。
- 当业务需要提高生成多样性（如推荐理由、搜索建议、自动文案）时，可借鉴“锚点+噪声”的定向探索思路，让同一 prompt 的候选沿共同方向发散，提升采样覆盖，而非仅依赖调高温度。
谱驱动自适应秩优化器，用于可验证奖励的 LLM 强化学习
🧭 LLM RLVR 优化器设计
Gaoling School of Artificial Intelligence, Renmin University of China
发现 RLVR 梯度能量向低秩子空间集中，提出自适应秩优化器 Ares，跨模型和任务提升准确率
📌 工作参考价值（3 点）
- 在业务中用 RLVR 微调推荐/搜索 Agent 时，可借鉴 Ares 的自适应低秩优化：根据梯度能量占比动态选择更新秩，避免固定 LoRA rank 的欠拟合/过拟合，同时降低显存与通信开销。
- 监控梯度谱能量分布与有效秩下降趋势，可作为 RLVR 训练健康度的诊断指标；若梯度能量没有像预期那样向低秩集中，可能说明奖励信号或任务设计有问题，便于早停或调整。
- 实现上，Ares 的能量阈值法（估计保留一定能量比例的最小秩）可以复用到现有多卡训练框架中，对优化器状态做低秩投影，提升训练吞吐，适合大规模电商搜索推理模型更新。
TPPO：用于语言模型推理的追踪价值 PPO
🧭 RLVR 中 PPO 价值函数参数化改进 ★ 深度解读
Zhejiang University · Westlake University · Shanghai AI Laboratory · The Hong Kong University of Science and Technology · Nanjing University
将 PPO critic 改为逐 token logit 增量累加，在稀疏二元奖励下显著提升推理训练的 token 级信用分配与策略性能
📌 工作参考价值（4 点）
- 若在 LLM 驱动的对话式推荐/搜索 Agent 中用 PPO 做 RL 训练，且奖励是终端转化/点击式的稀疏二元信号，可将 critic 从独立预测 prefix value 改为累积 logit 参数化：每 token 输出一个 scalar，累加后 sigmoid 得到 prefix value，损失用 BCE；实现成本低，不需要 process reward。
- 该方法直接改善 GAE 中相邻 token 的优势排序，减少噪声信用分配；对于需要区分多步推理中关键步骤（如商品筛选、需求澄清）的场景，能提升策略学习的稳定性，尤其适合长轨迹 CoT。
- 注意其假设是 γ=1、binary terminal reward；若业务奖励是 dense 或连续值（如 GMV、转化概率加权），需先做二值化或改造 logit 分解，否则收益可能不成立。
- 在评估 critic 质量时，可借鉴 SNR-conditioned sign accuracy 与 MC anchor 估计，用少量采样诊断训练中 critic 是否在跟踪值演化，避免训练后期价值函数退化。
RSIPO：技能与策略共进化的递归自改进Agent强化学习
🧭 Agent 强化学习 · 技能-策略共进化 ★ 深度解读
CUHK · THU · NUS · Tongji University · UW-Madison
用重放增益奖励技能生成并以经验贝叶斯校准教师信任，实现技能-策略共进化
📌 工作参考价值（4 点）
- 可借鉴「执行检查」机制到购物/搜索 Agent 技能库更新：让 Agent 从自身轨迹中改写技能，用同一初始状态下带技能重放 vs 无技能控制组的效用差作为 reward，不依赖外部 judge 模型或额外标注数据，特别适合可重置的仿真购物、离线检索沙盒。
- Type-level empirical Bayes shrinkage 对任务级重放增益降噪后再映射为教师信任系数 ωx，可直接替代 OPSD/蒸馏中均匀信任权重；电商场景中不同品类/任务类型难度差异大，按类型池化增益能减少不可靠教师信号对策略的损害。
- 对可重置环境可低成本采纳，但线上不可重置环境需额外处理；重放增加 K 次 rollout 与训练成本，可考虑只在部分任务上做执行检查、用早停或小 K 控制开销。
- 技能 reward 用「该技能增益 - 同类型平均增益」做中心化，避免绝对增益偏差，适合在在线技能更新中稳定策略梯度；无效技能用固定惩罚 ρ，且搜索类任务可设 ρ=0 防止格式不稳定。
KV4-RL：INT4 KV Cache 量化加速 RLVR 异步 Rollout
🧭 RLVR 训练加速 · KV cache 量化
KAIST · NAVER Cloud · AITRICS
提出 KV4-RL，通过校准无关 INT4 KV 量化与选择性 INT8 保护 attention sinks 和近期上下文，在保持训练质量的同时大幅加速 RLVR 异步 rollout
📌 工作参考价值（4 点）
- 在使用 GRPO/RLVR 微调电商/搜索领域的推理型 LLM（如 query 改写、生成式推荐）时，可直接引入 KV cache 量化加速 rollout：长尾生成导致 KV 工作负载集中，KV 量化比权重量化或 weight-activation 量化收益更大。
- 选择性 INT8 保护策略可迁移到其他量化训练场景：对 attention sinks 和最近若干个 token 保持高精度，能有效缩小采样分布偏移（sampler mismatch），避免训练退化，同时保留大部分 INT4 加速。
- 校准无关的 INT4 KV 量化无需校准数据集，适合 RLVR 异步 rollout 中动态变化的 prompt 和生成长度，工程实现门槛低，可与 token-level truncated importance sampling（TIS）结合进一步稳定训练。
- 若业务中有大规模 LLM 自博弈或在线采样（如用 LLM 生成推荐理由、广告文案），可考虑对 KV cache 采用 INT4 量化，尤其当并发解码使 KV 成为主要瓶颈时，能显著降低推理成本而不明显损失最终模型质量。
难一点但别太难：GRPO 课程难度递进的收益与上限
🧭 GRPO 课程学习与动态难度调度 ★ 深度解读
Dalian Maritime University
系统刻画 GRPO 训练中样本难度随策略演化，证明中等难度持续选择并非最优，适度递进到更难难度带可提升性能但过度递进有害
📌 工作参考价值（4 点）
- 在 RLVR/GRPO 训练推荐文案生成、Agent 策略优化时，不要固定使用中等难度样本。可以按当前策略采样 8~32 次估计成功概率，动态划分难度带，并分阶段推进难度带（如从成功率 0.375-0.625 推进到 0.25-0.5），但避免推进到过低成功率区间（如 0.125-0.375），观察到性能非单调下降。
- 初始难度的静态排序会随着策略训练过时：即使全局 Spearman 秩相关高达 0.81，中等难度带的成员保留率只有 20.74%。因此在需要在线数据选择时，必须定期重新估计样本难度，不能依赖训练前一次性难度标注。
- 论文使用的诊断集与训练集分离、基于噪声容忍度的耐心阶段切换策略可直接复用：设定诊断准确率超过噪声容忍度（如 0.0107）才更新 best checkpoint，连续两次未改善则切换阶段，能避免过早切换和噪声波动。
- 中等难度样本（成功率约 0.375-0.625）虽然组内学习信号强，但持续选择并非最优；适度进阶到较难带（0.25-0.5）可获得额外提升。可借鉴该结论设置课程难度带边界，并结合业务数据分布调参。
只能打分的特权教师无法搜索：面向推理的批判条件化在线自蒸馏
🧭 Critique-conditioned self-distillation 用于推理错误定位 ★ 深度解读
Fin.ai · Dublin City University
证明参考解条件化的在线自蒸馏信号无法定位错误，提出先批判后条件化打分，使 token 级监督具有纠正性
📌 工作参考价值（4 点）
- 在稀疏奖励场景（如 RLVR 只有最终结果正确/错误）中，若一组 rollout 全部失败，group advantage 为零，可以借鉴 critique-conditioned 思路：先让模型对失败轨迹生成错误定位与解释，再以此作为额外上下文让 teacher 打分，获得 token 级纠正信号，解决冷启动和长尾问题。
- 验证了"定位错误是搜索问题，生成才能搜索"：在 Agent 多步决策、多轮对话等复杂任务中，单纯用参考解或最终状态做 reward model 可能无法提供有效信用分配，可以考虑增加一个 critic 生成 critique，将生成结果作为 reward model 的额外输入，提升对错误步骤的敏感性。
- 训练成本可控：用学生自己生成 critique（self-critique）仅增加 6% step time，但效果接近 oracle critic（OOD accuracy 0.593 vs 0.606），说明在计算预算有限时可以采用 self-critique 方案，且 quote 和 reason 的解耦（quote 负责定位，reason 负责纠正）值得在 prompt 设计或模块拆分中参考。
- Test-time 修复：将 critique 作为上下文插入 rollout 的截断处，可让模型回溯并纠正错误，在解决不了的问题上提升采样成功率（4.3%→9.3%），该思路可用于推荐对话系统或 Agent 执行失败后的自动修复。
超越结果奖励：搜索智能体的检索信用构造与分配
🧭 搜索Agent强化学习 · 检索信用分配 ★ 深度解读
University of Edinburgh · Huawei Technologies Research & Development (UK) Limited
系统研究检索中间信号在 GRPO 中与动作对齐的信用分配，局部 credit 显著优于 scalar reward shaping
📌 工作参考价值（4 点）
- 在 RLVR 训练搜索/工具调用 Agent 时，不要只给最终答案 F1。把检索证据覆盖等中间信号作为 token-level local credit，加到产生该次检索的 query tokens 上，比直接把检索 bonus 加到 trajectory reward 更有效；工程上可在 GRPO 中保留 outcome advantage，再在 executed query tokens 上叠加 group-relative signed residual。
- 信号设计要和 credit assignment 联合选择：同一 Cov 信号在 local 下最强，而带依赖约束的 Cov-Dep 更适合 scalar、不适合 local。业务里如果做子问题/依赖图，建议先验证「不要过度约束」的检索信号在 local 框架下是否更好。
- 保持 event-action 对齐很重要：把检索增量打乱到同 step 其他 rollout 会掉点，multi-hop 任务掉点更明显（Cov aligned-permuted 差 2.12，AM 差 3.12）。实现时一定要把 credit 附着到实际产生 evidence 的 tool call tokens。
- 中间监督主要提升证据获取，而非证据利用；如果业务目标是最终成交/答案质量，除了覆盖奖励还应设计证据使用或推理质量信号，否则可能出现检索更多但答案未见提升。
YANchor-4B：O(N)时间与O(1)内存下的长时程推理
🧭 长时程推理 · 线性复杂度架构 ★ 深度解读
Rocore Matrix · Stonehill Tech · Carnegie Mellon University
用固定容量记忆锚点结合循环状态与局部注意力，在O(N)/O(1)下实现强长时程推理
📌 工作参考价值（4 点）
- 高并发长序列在线推理：如果你的 Agent 或推荐链路需要处理长会话/长用户历史，可考虑用固定状态 + 显式记忆的结构，避免 KV cache 随长度膨胀，显著降低显存峰值，提升批量吞吐；适合电商大促高 QPS 场景。
- 业务记忆选择：论文中每个 KV group 独立保留 Top-K 高分记录，admission score 在写入时计算，类似信息重要性过滤器。推荐系统可借鉴此设计，对用户行为序列或搜索 Session 做关键记忆选择，优先保存高价值交互（如加购、支付），而不只是最近 N 条。
- 多路历史表示：循环状态压缩全局、局部窗口保留近期、独立记忆保留远期关键记录，三者互补。在生成式推荐或对话式导购中，可以解耦用户长期偏好、近期意图和关键事件，分别建模后再融合。
- RLVR 可借鉴：用可验证结果（如是否点击、是否成交）做 outcome-guided 强化学习，提升生成任务（query 推荐、文案）的准确率，而不只依赖监督数据。
自回溯蒸馏：把事后经验转为事前前瞻
🧭 RLVR 辅助损失 · 事后到事前蒸馏 ★ 深度解读
Salesforce AI Research · UC San Diego · Texas A&M University · Stanford University
用事后交互轨迹蒸馏出交互前可预测的知识/失败模式，让每条 rollout 均贡献监督，最高提升 24.2 pp
📌 工作参考价值（4 点）
- 在强化学习训练电商导购/搜索 Agent 时，不要只依赖 scalar reward：把每个会话/交互轨迹的事后信息（成功所需知识、失败原因）作为监督，训练模型在交互前输出前瞻性描述。成功轨迹预测用户可能关心的知识点，失败轨迹预测易错点/陷阱；该输出仅作训练目标，推理时不生成，不增加线上成本。
- 对奖励稀疏或组内 reward 一致的场景（大量会话无转化、点击稀疏），GRPO 等 group-relative 方法会丢弃全失败/全成功的 rollout 组；SRD 这类逐轨迹事后监督不依赖组内 variance，能从失败样本中榨取价值。2B 模型在全失败组占 98% 时仍能达到 60.6% 成功率，说明可以复用线上大量负反馈会话做冷启动训练。
- 具体实现用 stopped-gradient 的同一模型当 teacher，输入额外包含 gold solution 或 error annotation，与 student 的前瞻 rollout 做 token 级 JSD 对齐；只选 pitfall 视角通常比 knowledge+pitfall 更稳定且计算更便宜，不要盲目堆多个辅助头。
- 纯 self-distillation 在工具交互任务上可能不稳定（9B OPSD 在 HotpotQA/2Wiki/LCB 低于 vanilla），引入前瞻蒸馏能稳定训练并恢复单调 scaling；在复合 RL+蒸馏目标（RLSD）中也可叠加，通常 +SRD 提升明显。
直到证据确凿才结案：训练 LLM 调查员何时结案
🧭 LLM 推理闭环与不确定性判断
Peking University
构建 Nautil 事故调查数据集与三阶段结案评估，显著降低 LLM 过度自信并提升证据依赖结案准确率
📌 工作参考价值（4 点）
- 在客服、工单诊断、风控等需要“证据不足不下结论”的场景，可借鉴「证据依赖测试」：人工删除关键证据，要求模型必须停止闭环或明确缺失项，避免模型仅靠少量线索强行给出推荐/诊断。
- 用「仅来源规则」作为 baseline：在构建推荐或诊断数据集时，先检查 label 是否被来源/品类等浅层特征泄漏，若规则 baseline 已很高，需按来源分层评估，防止虚假高准确率。
- SFT 阶段用 teacher trajectories 显式教导模型输出“缺失信息”而不只给结论，可有效降低 LLM 过度自信，适合迁移到对话式推荐/Agent 的“不知道就反问”设计。
- RLVR 只奖励闭环决策可大幅提升准确率，但会牺牲对证据变化的敏感性；实际部署时建议将 evidence dependence 作为关键 offline 指标，避免模型“学会猜标签”而非真正依赖证据。
半事实信用增强策略优化
🧭 LLM 强化学习训练 · token 级信用分配
Zhejiang University · Westlake University · Shanghai Innovation Institute · Shanghai AI Laboratory
提出 SCAPO，将半事实稳定性融入 GRPO 的 token 级信用分配，提升数学推理与 OOD 泛化
📌 工作参考价值（4 点）
- 在电商/Agent 场景用 RLVR 微调 LLM（如以是否成交/点击作为 verifiable reward）时，GRPO 会把同一 outcome advantage 平均分给所有 token，容易强化 prompt 模板、位置等伪相关；可借鉴 SCAPO，用语义不变改写构造半事实干预，计算 token 概率漂移作为稳定性分数，在早期训练中对不稳定 token 降低 advantage。
- 论文发现解码时直接抑制高 drift token 候选，无需更新权重就能提升推理准确率；这可以迁移到 LLM 排序/召回/query 改写等生成任务，对 prompt 改写或模板扰动下概率漂移大的 token 做推理时惩罚或 mask，降低线上 prompt 敏感性。
- 稳定性分数被归一化后只用于削减不稳定 token 的 advantage，不给稳定 token 额外奖励，避免 reward hacking；实际调优时可沿用这一设计，把稳定性作为正则化/掩码信号而非正奖励。
- 主要实验在数学推理，业务迁移需自行验证；但对需要强泛化、且 reward 容易受 prompt 表面特征影响的 LLM Agent 训练，SCAPO 提供了一种轻量的 token 级 credit 修正思路。
EasyPPO：稳定 Critic 是 PPO 稳定训练的关键
🧭 RLVR / PPO 训练稳定性优化 ★ 深度解读
University of California, Berkeley · Princeton University
通过 actor-only 截断过滤、按回报方差加权 critic 损失和较小 critic mini-batch，稳定 PPO 训练并全面优于现有方法
📌 工作参考价值（4 点）
- 若在搜索/推荐 Agent 或生成式排序中用 PPO/RLVR 训练 LLM，不要同时对 actor 和 critic 过滤超长 rollout：截断样本保留给 critic 学习，能避免策略偏向“早点截断也能拿到的条件奖励”，同时 actor 侧只过滤截断样本仍可降低噪声。
- 当不同 query / 用户组 / 问题上的 reward 方差差异很大（如连续奖励：转化金额、延迟、GPU kernel 加速比等），对 critic loss 使用 prompt 组内回报标准差的倒数加权，可以在现有分组采样 rollout 的框架下低成本实现，防止少数高方差 prompt 主导 critic 更新。
- 工程上 critic mini-batch 不必等于整个 rollout batch；默认切成 4 个 mini-batch 并做 gradient clipping，能限制 outlier 影响范围。若改变 mini-batch 数，记得按 η ∝ 1/√K 调整 critic 学习率。
- 训练监控可以看 critic 的 explained variance 和 clip 前 gradient norm；持续大幅波动或 EV 突然下降通常是 critic 失效的前兆，可作为在线崩溃预警。
HybridCUA：学习编排 GUI 与 CLI 的计算机使用智能体
🧭 Agent 多模态交互与工具编排 ★ 深度解读
Zhejiang University · Peking University · Tsinghua University
通过统一 bash 动作空间与 CLI-aware 奖励，让 CUA 学会何时用 CLI、如何可靠执行，OSWorld 准确率 53.6% 且步骤减半
📌 工作参考价值（4 点）
- 工具接口统一化：在电商导购 Agent 中，把点击/输入等 GUI 操作与搜索 API、筛选工具统一成同一种 action（如 execute），模型只需学习一个动作语法，降低调度复杂度；本论文统一 bash action 比分开 GUI/CLI tools 高 7.2 个百分点。
- 显式奖励工具选择：对 Agent 的工具使用做两层 reward——任务级根据标签奖励“是否选择了合适的工具”（如该用 API 批量操作时不用 GUI 一步步点），步级惩罚执行失败（如 API 参数错误、SQL 出错），比只给最终成功奖励更能塑造高效且可靠的行为。
- 混合数据构造：从单一 GUI 轨迹转换成等价 CLI 命令并重放验证，可低成本生成混合工具使用数据，不必从头收集。电商场景可以把已有“点击操作”轨迹改写为“调用搜索/下单 API”轨迹，保留成功回放，用于 SFT 温启动。
- SFT+在线 RLVR 两段训练：先 SFT 混合轨迹让模型学会工具切换，再用可验证奖励在线微调，能同时提升任务完成率和降低交互步数（步骤减少 29.3%）。适用于电商 Agent 的购物任务、订单处理等可验证场景。
ReSPO：重塑序列策略优化以应对离线策略学习梯度饥饿
🧭 RLVR 离线策略训练优化
Department of Computer Science, University of California, Los Angeles
提出 ReSPO，用平滑两分支序列级核替换裁剪，修正重要性权重尾部梯度饥饿，加速 RLVR 训练
📌 工作参考价值（4 点）
- 若在 RLVR 训练中复用 rollout 且使用 GRPO/GSPO 时，模型难以学到低频但高奖励的长轨迹（如多步 Agent 决策、长链推荐理由生成），可替换为 ReSPO 的平滑序列级核：正分支保留低重要性权重正样本的非零梯度，负分支抑制高权重负样本，避免梯度饥饿。
- 对 LLM 生成搜索 query、广告文案或推荐解释的强化学习微调，在 reward 稀疏、正样本稀缺场景下，ReSPO 正分支能加速早期优化，比传统 clipping 更友好。
- 工程实现上，ReSPO 核是序列重要性比 W=πθ(o|q)/πold(o|q) 的函数，可与现有 GRPO/GSPO 代码低耦合替换；只需缓存 old policy 的 rollout 来计算比率，复用现有离线数据流即可。
- 论文在 dense 和 MoE Qwen3 上验证有效，对工业级大规模模型与 MoE 架构有迁移参考价值，但需注意业务 reward 信号若噪声较大，仍需配合 variance-control tilt 稳定训练。
学习转向，转向以见：用可训练向量揭示RLVR在LLM中的几何结构
🧭 RLVR 激活几何与训练稳定化
USTC · Tencent Hunyuan · BUPT
发现RLVR有效控制方向位于激活主子空间低方差补集，并提出Alpha-Stabler稳定训练提升RL增益
📌 工作参考价值（4 点）
- RLVR 微调 LLM（如电商搜索/推荐中的 Agent 策略模型）时，可监控激活的主子空间入侵程度来预警训练崩溃，提前止损，节省算力。
- 在反向传播中移除激活梯度在主子空间的分量、保留低方差补集分量，可作为通用训练稳定化 trick，与现有 RLHF/RLVR 流程兼容，尤其适合长步训练。
- 低维有效流形存在但不可无限压缩，提示在低秩适配（LoRA）或资源受限场景下，需平衡干预维度与输入依赖表达性；对在线持续微调有参考价值。
- 跨任务几何对齐与能力迁移相关，可用于评估不同业务任务（查询改写、推荐策略、Agent 决策）之间的迁移潜力，指导多任务训练设计。
超越时间戳：面向长程智能体的决策对齐在线策略蒸馏
🧭 长程 Agent 决策对齐的在线自蒸馏 ★ 深度解读
Beihang University · Tsinghua University
提出 ALIGNOPSD，用跨 rollout 决策对齐修正特权监督并用可变决策片段分配 credit，长程 Agent RL 提升 5.5–8.7%
📌 工作参考价值（4 点）
- 在电商导购/搜索式推荐 Agent 的 RLVR 训练中，若用带特权信息的 teacher policy 做 dense 监督，不要按 turn index 对齐 teacher/student；用 thinking trace 的 frozen embedding 余弦做跨 rollout soft matching，再 teacher-force 同一 response，可避免时间戳错配污染 credit。
- 把一次输出作为 credit 最小单位太粗、token 太细；用相邻 turn 的 correspondence profile 的 JSD 变化自动切分决策片段，再在 span 内按证据分配 advantage，更适合“同一个决策跨多轮”的场景（如搜索→点商品→比价→加购中“比价”持续多轮）。
- 优势分配时用 stop-gradient 的权重乘到 group-normalized advantage，不引入额外 distillation loss；KL 正则约束 span/turn 分配不偏离均匀 token measure，训练更稳定。
- 超参默认值：credit temperature T=0.5 跨任务和模型尺度较稳定；thinking similarity threshold 0.7–0.8 较稳；top-K 需按任务调，长轨迹可稍大，短轨迹需更小。
意外的成功，重复的失败：熵引导信用分配用于LLM推理探索
🧭 RLVR token级信用分配 · 熵引导探索
KAIST · DeepAuto.ai
提出EAPO，利用策略熵与response advantage符号不对称分配token级信用，强化高熵成功、惩罚低熵失败并保留失败中的探索机会
📌 工作参考价值（4 点）
- 在电商/导购Agent的RLVR微调中，可直接利用每步生成时的策略熵作为信用分配信号，无需额外reward model或人工标注；将成功轨迹中高熵决策（如“不确定时尝试新工具/新query”）给予更强正反馈，鼓励探索新策略。
- 对失败轨迹区分“确定性错误”与“探索性失败”：低熵token（模型很自信却错，如错误价格比较结论）施加更强惩罚，快速纠正重复错误；高熵token（模型尝试不确定路径，如生成长尾query）减轻惩罚，保留未来恢复可能性。
- 若在生成式推荐/搜索query改写上做RL，可借鉴EAPO的token-level advantage redistribute：用response-level奖励按熵加权到token，避免对整条失败样本均匀惩罚，有助于维持候选多样性。
- 工程实现上，EAPO只用现有rollout信号（entropy/advantage），可轻量嵌入PPO/GRPO等在线RL流程；适合稀疏reward场景（如用户最终购买/点击），提升覆盖与多样性。
X-Tree：将可复用经验分词为技能树以高效泛化智能体
🧭 Agent 技能层级挖掘与 RL 训练 ★ 深度解读
University of Waterloo · Duke University · National University of Singapore
把智能体轨迹中可复用动作片段按频次/长度/成功率挖成层级 X-Tree，并以数据、奖励、上下文三种方式训入权重
📌 工作参考价值（4 点）
- 动作/行为序列先做 canonicalization：把点击、填表、搜索等映射为 verb⟨role⟩ token，去掉具体商品/页面 id，再做频次挖掘；比直接使用原始 action 文本更容易发现跨商品、跨 query 的复用流程，适合从电商 session 日志抽取“浏览→筛选→加车→下单”等宏动作。
- 离线无仿真环境时，不要只对整段 trajectory 做 SFT/RL；把高频且成功的子序列节点当作 RL 实例，用 gold prefix 做 partial rollout，奖励设为 step-matching + depth-scaled completion bonus。WebArena 上同样数据比整轨迹 SFT 高 +4.5 SR，说明细粒度子过程很值钱。
- 在线 RLVR 面临稀疏 verifier reward 时，可以加一个 adaptive skill bonus：按 group win rate 线性衰减，只在 verifier 不能区分 rollout 好坏时生效；这样既提供早期稠密梯度，又不会在后期污染奖励。推荐/搜索 agent 的在线探索奖励可借鉴。
- 用 OPSD/self-distillation 训练策略时，教师上下文中的 LLM 写 skill bank 可替换为从日志挖掘的 X-Tree 渲染文本，效果相当且零 LLM 成本；对无法频繁调用大模型做抽象的工程场景很有用。
迭代乘法的 RLVR 景观可良性：自旋玻璃理论的启示
🧭 RLVR 优化景观与推理训练
Racah Institute of Physics, The Hebrew University of Jerusalem
用自旋玻璃证明 RLVR 算法任务景观无局部极小，困难在扩散障碍与梯度误差；transformer 仅末 token 奖励可学算法思维链
📌 工作参考价值（4 点）
- RLVR 训练卡住时先别归因于景观 rugged：在无关联输入的算法任务中景观通常无局部极小，应优先排查梯度估计噪声与 credit assignment，用更大 batch、动态采样或更稳的 baseline。
- 熵正则项选择是关键：调节 entropy regularizer 可缓解扩散障碍，帮助策略穿过平坦/高熵区域；在 LLM 推理 RLVR 可尝试调高熵系数，避免过早收敛到次优确定性策略。
- 只用 last-token reward 从零训练 transformer 也能学到非交换群乘法的算法 CoT，说明验证奖励加长序列生成可在无中间奖励下学会推理，值得在可自动验证的业务任务（如规则链推理、订单状态预测）尝试。
- 注意理论假设是 tabular/myopic/uncorrelated inputs，直接迁移到真实电商 Agent 需谨慎；但对 RLVR 训练调参和故障排查有方向性参考。
何时何地信任教师：通过熵校准信用分配统一在线蒸馏与 GRPO
🧭 RLVR 与在线蒸馏统一训练
Shanghai Jiao Tong University · Zhejiang University
提出 UECR-GRPO，在 GRPO 更新中统一 verifier 与 teacher 信号，通过熵校准 token 级信用重分配提升数学推理 RLVR
📌 工作参考价值（4 点）
- 在电商/Agent 场景用 RLVR 训练 LLM 时（如最终成交、点击、任务完成作为 verifier），可以引入一个 teacher LLM 的 log-prob 作为稠密信号；关键是把 teacher 信号和 verifier reward 在 group normalization 与 PPO clipping 之前合并，让 teacher 证据影响 response 排序，而不是事后加权。
- Token 级信用重分配用 response-wise zero-sum projection 保留每个 response 的总任务信用和符号，可借鉴到商品标题生成、对话推荐理由生成等任务：只改变 token 间梯度分配，不改总 reward，降低训练不稳定。
- 全词表 teacher entropy 衰减不确定指导：当 teacher 模型对某些 token 输出很平、熵高时，降低其蒸馏权重；适合电商文本生成中 LLM teacher 噪声大的场景，避免传播错误偏好。
- On-policy 实现中使用 length-normalized teacher score，可避免长文本 recommendation/agent 轨迹中获得更高 teacher score 的长度偏差。
Rufus-Air：开源 LLM 后训练配方
🧭 LLM 后训练全流程配方 ★ 深度解读
Amazon
公开 GLM-4.5-Air-Base 的完整后训练配方，以难度过滤和奖励可靠性排序驱动 8 阶段训练，显著超越官方 release
📌 工作参考价值（4 点）
- SFT 配比看 token 而非 sample：长轨迹类别（Math、Coding Agent）在 sample 占比不高但贡献近半训练 token。业务上做生成式模型 SFT 时，应按 loss-contributing tokens 评估数据配比，避免被 sample count 误导。
- 难度过滤作为自动课程：RL 阶段统一剔除“已解决”和“不可学”的 prompt，只保留策略当前可进步的区间，随策略提升自动滚动。此思路可直接用于电商文案生成、query 改写、Agent 工具调用的 RL 训练，减少无效 rollout 和梯度噪声。
- 按奖励可靠性排阶段：先跑可验证奖励（规则、执行测试），后跑 judge/model-based 奖励，缩短奖励被 hack 的暴露时间。多阶段 RLHF 或对齐训练时，可借鉴该顺序，把 IF 类接近已有能力的软奖励提前，把开放偏好奖励放最后。
- 基础设施也是配方：统一 chat template、token-in/token-out rollouts、Rollout Routing Replay、可靠 sandbox 服务对 MoE 稳定训练至关重要。搭建内部 RL 框架时，这些工程细节应作为一等公民，而非实现细节。
小模型搜索智能体的可验证奖励强化学习
🧭 RLVR小模型搜索Agent训练 ★ 深度解读
Leiden Institute of Advanced Computer Science, Leiden University
在0.8B模型上证明RLVR可训练搜索Agent，且稀疏EM奖励最差，token-F1部分信用奖励带来3.8倍提升
📌 工作参考价值（4 点）
- 在资源有限、用小模型做 agentic search/RAG 时，奖励函数不要直接用 exact match 稀疏奖励。改用 token-F1 部分信用奖励（可加格式地板），避免 GRPO 组内优势因零方差而失效。
- 训练与评估共享同一套 prompt 模板、工具接口和解析器，确保格式分布一致；检索到的 token 必须 mask，防止模型学预测语料。
- 使用模型家族原生工具调用格式（如 Qwen 的 nested-XML）而非自定义标签，能降低冷启动难度；用量化检索索引（IVF+SQ8）替代 flat index，内存从 65GB 降到 16GB 且 recall 基本不降，利于训练时多轮 rollout。
- 若在电商搜索/推荐场景训练 Agent 做多跳查询或商品属性推理，可借鉴隐式长度惩罚：生成上限本身会形成对过长 rollout 的惩罚，但训练 reward 与真实业务指标要区分，格式奖励可能让训练曲线虚高。
量化模型走到哪，就在哪训练：低比特推理的在线策略蒸馏
🧭 低比特量化 · 在线策略蒸馏 ★ 深度解读
Institute of Automation, Chinese Academy of Sciences · School of Artificial Intelligence, University of Chinese Academy of Sciences · Zhongguancun Academy · City University of Hong Kong · NJUST
用在线策略蒸馏把教师监督放到低比特量化模型自己的生成轨迹上，将 MATH-500 平均保留率从 35% 恢复到 70%
📌 工作参考价值（4 点）
- 若线上部署低比特 LLM 做 Agent 规划、长推理或长文案生成，QAD 后不要直接上线：补一个少量步数的 on-policy 蒸馏阶段，用模型自己的 rollout 配合冻结 BF16 teacher 和任务 verifier，能显著减少重复循环和 budget exhaustion。
- 蒸馏阶段可以非常简单：反向 KL token-level + group-relative advantage，β=1 固定无需调参；每个 step 8 prompts、G=32/64 rollouts，几十到数百 step 即可，GPU-hours 比 QAD 少 14–23 倍。业务上可低成本验证。
- 教师选择：1.7B 以上的低比特学生用自身 BF16 副本通常足够，不必上更大教师；只有 0.6B 这类学生本身太弱时才需要更强教师。这能省掉大模型推理成本。
- 训练/部署一致性很关键：rollout 必须走部署时的量化前向路径（INT8 activations + low-bit weights），才能把量化扰动纳入训练分布；类似在生成式推荐、query 改写或 Agent 路径采样中，应让训练 rollout 与实际服务链路一致，避免 teacher-forcing 与线上自回归之间的 exposure bias。
RetireOPD：面向智能体强化学习的自适应退休在线策略蒸馏
🧭 Agentic RL 训练 · 自适应退出蒸馏 ★ 深度解读
Zhejiang University · Alibaba Group
先奖励训练特权教师，再做在线策略蒸馏，并根据教师-学生分歧与相对成功率自适应退出教师监督
📌 工作参考价值（4 点）
- RLVR 训练 agent 时，别把「prompt 里塞特权信息」当成可靠 teacher：电商/搜索 agent 常想在训练期用用户画像、SKU 知识、检索结果等 offline-only 信息做 dense 监督。该工作表明，同容量模型仅靠输入特权上下文并不一定比无特权学生强，应先用环境奖励对 skill-conditioned teacher 做一轮 RL，再冻结当教师。
- 用在线信号决定何时退出蒸馏，比固定 annealing 或两阶段切点更稳：可以监控教师-学生 token-level logprob gap 的相对变化 ρ，以及学生的 relative competence η。当 gap 停止缩小且学生成功率超过教师一定比例（如 0.9）时退出 OPD，只保留 GRPO/RL。此逻辑适合跨品类、多模型尺度训练，不用逐任务调退火步数。
- 稀疏奖励 + 特权 teacher 的组合能显著加速多轮 agent 前期学习：业务里做购物 agent、搜索交互 agent、客服多轮决策时，可以先 OPD 加速起步，再在冲突点后转纯 RL，避免教师天花板。退出后还能省掉 teacher forward pass，降低训练与后续微调成本。
- 如果离线有技能库、查询改写规则、投放策略等仅训练期可用信息，可参考其 SkillBank + keyword retrieval 方式：将特权技能作为 teacher 输入，学生部署时不依赖这些信息，适合线上 latency 敏感但训练期可用的场景。
When2Think：学习难度感知长度控制的高效混合推理
🧭 LLM 推理效率 · 自适应混合推理训练 ★ 深度解读
Sungkyunkwan University · Microsoft
用实例级难度感知奖励塑形动态分配推理深度，在数学基准上实现 AIME24 Pass@3 +10% 且 token -27.9%
📌 工作参考价值（4 点）
- 用离线参考策略统计做难度/预算先验，在 RLVR 奖励中加 correctness-gated efficiency bonus，适合有确定性校验的业务任务（如商品属性抽取、意图分类、SQL 生成），无需在线 critic/参考模型。
- 采用 THINK / NOTHINK 模式 token 训练 system1/system2 自适应路由，可迁移到 Agent 工具调用或 RAG：简单 query 直接回答，复杂 query 才触发多步检索/推理，降低平均延迟与 token 成本。
- BWS 的 batch-wise reward 标准化稳定 critic-free PPO，适合小团队在不训练 reward model/critic 的情况下做后训练，且保留跨实例难度结构。
- 难度用 reference accuracy 而非启发式长度定义，可能更 robust；业务场景可先用较大/teacher 模型对样本滚动评估得到难度标签。
贝尔曼策略优化（BPO）：一种无 Critic 的 RLVR 方法
🧭 RLVR 策略优化 · Critic-free ★ 深度解读
Apodex US, Inc. · Princeton University
利用 Bellman 方程将 Policy Mirror Descent 重构为轨迹级目标，避免价值估计，在 AIME 数学推理上显著超过 GRPO 等基线
📌 工作参考价值（4 点）
- 对用 RLVR 训练对话式推荐、解释生成、query 改写等 LLM 任务的团队，可尝试用 BPO 的 token-level 权重替代 GRPO 的 importance ratio：仅将 ratio 换成 (1+ε-μ(y_t|s_t))/(1+ε-π(y_t|s_t))，改动小，且论文显示对 ε、C 超参数不敏感。
- 如果业务奖励是可验证的 terminal reward（如用户点击/转化、任务完成、代码执行、工具调用成功），BPO 提供了一种无需 value model 的 critic-free 更新，省去训练 critic 的 GPU/内存成本，避免 value estimation 误差带来的不稳定。
- 分组归一化 advantage + 互补概率权重 + truncation/masking 的组合，可作为 RLVR 训练中缓解 rollout/training policy mismatch 的工程 trick，尤其适合 MoE 或 router 不稳定等场景。
- 该论文主要在数学推理上验证，直接迁移到推荐/广告文案或 Agent 规划效果需自行验证；但其理论等价性和对超参数的鲁棒性，值得在 reasoning 型推荐 Agent 或 search query 生成中用 A/B 测试评估。
MInTRL：用稀疏离线干预增强在线策略强化学习
🧭 LLM 强化学习 · 半在线纠错 ★ 深度解读
Amazon Web Services · Boston University
提出 MInTRL：在 on-policy rollout 中由 judge 做稀疏局部纠错，并用 advantage-regression 目标免去 importance sampling
📌 工作参考价值（4 点）
- 在线 RL/Agent 训练中，不要整段用 teacher 轨迹做 SFT 或 off-policy；可在 rollout 里让 judge 按 chunk 定位 first error，只替换错误后缀，随后控制权还给当前策略。工程上按 \n\n 或 code fence 切 step，限制 judge reviews 次数和 continuation 长度，把干预 token 占比控制在约 2–4%，收益最稳。
- 对混合来源轨迹（模型自生成 + 专家修正），不要用 GRPO/PPO 加 importance ratio，改用 sequence-level advantage regression：A(x,y)=r(x,y)-V_ctrl(x)，回归 log πθ/πt 到 A/β；value baseline 只从纯 on-policy control rollouts 估计，能显著降低修正 token 带来的方差。
- 干预 token 的 anchor 可以设为常数 κ，不必依赖 teacher log prob，避免低概率专家 token 被当前策略过度约束；当 base policy 已经较强时，再用原 πt anchor 更稳定。
- 只在训练早期开启 intervention，后期关闭切换为纯 on-policy RL；没有更强教师模型时，可以用 privileged context 让同一模型做 self-judge，对电商/Agent 业务更友好。
TRACE：用合成奖励训练因果探索推理智能体
🧭 Agent 诊断推理 + 合成奖励 RL ★ 深度解读
Independent Researchers
simulator-oracle-RL 把隐藏干预变客观奖励，训练广告诊断 Agent，35B FullAttr@1 达 0.757，超前沿闭源基线
📌 工作参考价值（4 点）
- 在电商/广告诊断场景，可复用 simulator-oracle-RL：先往离线广告数据或 sandbox 注入已知根因（如 BUDGET_CAP、COMPETITIVE_PRESSURE、CREATIVE_FATIGUE），再生成指标观测；隐藏干预直接作为 RL reward，省去人工归因标注和 LLM-as-judge。
- 归因任务奖励设计值得抄：用 cause correctness 作为门控，driver slice 用 Jaccard 给部分分，再加 binary full-attribution reward；full-attribution 项对多维 audience/placement 切片很关键，2D slice 从 0.00 提升到 0.27，1D 从 0.67 到 0.92。
- SFT warm start 价值明显：先用 oracle-filtered 教师轨迹做 SFT，能让 decision-parse rate 从 0.53 到 1.00，工具调用从 22.05 降到 10.75；后续 RL 只需少量额外工具调用就获得 12 个点 FullAttr@1 提升。
- 可以做一个 oracle verifier，只读 agent 可见数据，检查信号可检测性、信噪比和 confounder 可区分性，过滤掉不可解或太简单的 episode；这种 generation/acceptance 分离适合构造可扩展训练集。
难度自适应树结构策略优化以扩展RLVR中的推理覆盖
🧭 RLVR训练策略优化 · 树搜索
Pohang University of Science and Technology (POSTECH)
提出DATPO，通过难度自适应树搜索和句子熵引导分叉提升pass@k，增强测试时缩放能力
📌 工作参考价值（4 点）
- 在对话式推荐或搜索Agent的多步决策训练中，可借鉴难度自适应采样：根据问题难度动态分配rollout深度/宽度，避免简单样本浪费算力，同时让困难样本获得更多探索机会，提升策略覆盖率。
- 树搜索结构比并行采样更利于发现正确答案，可用于训练阶段的策略探索；结合句子级熵引导分叉（而非token级）能增强语义多样性，对生成推荐理由或搜索query改写等开放式生成任务有参考价值。
- 引入sibling-diversity advantage term，显式鼓励同一父节点下不同分支的语义差异，可迁移到多臂老虎机或beam search解码中，用于生成多样化的商品文案、广告标题或推荐理由。
- 该工作主要针对数学推理，业务场景直接迁移需谨慎，但RLVR训练中通过结构化探索扩大策略覆盖的思路，对需要长程推理的Agent（如多轮商品筛选、意图澄清）有启发性。
DataFlex-RL：RLVR 数据策略评估平台
🧭 RLVR 训练数据策略评测
Peking University · UCAS · Institute for Advanced Algorithms Research, Shanghai · Zhongguancun Academy
构建统一 GRPO 配方下评估 RLVR 数据策略的平台，发现选择/加权/自适应策略相比均匀采样无可复现提升
📌 工作参考价值（4 点）
- 在电商/推荐/Agent 场景中用 RLVR 训练生成式推荐、Query 推荐或文案生成时，均匀采样是强 baseline；引入任何 rollout 选择或加权策略前，先按统一超参多 seed 配对检验，避免无效复杂化。
- 评估指标集合对策略排名影响极大：仅用部分业务指标（如只看点击不看转化或多样性）可能导致排名负相关；需要领域平衡的综合指标，并在上线前检查指标选择是否稳健。
- 可复用 DataFlex-RL 开源平台作为内部 RLVR 数据策略 A/B 测试模板，快速验证新数据策略是否真的带来可复现提升。
- 自适应多域混合不优于固定等权混合，在多任务/多场景推荐中不要盲目上自适应采样权重的复杂设计，先确保数据质量和训练稳定性。
验证器引导的可解释推理框架：金答案锚定QLoRA与组相对RLVR
🧭 神经符号推理 · RLVR 可解释性
University of Information Technology (UIT), Ho Chi Minh City, Vietnam · Ho Chi Minh City University of Technology (HCMUT), Vietnam · Vietnam National University, Ho Chi Minh City, Vietnam · University of Economics Ho Chi Minh City (UEH), Vietnam · Viet Nam – The Netherlands Programme (VNP), Vietnam
结合金答案锚定QLoRA、任务感知符号路由和组相对RLVR，在保持答案正确率的同时大幅提升推理可解释性
📌 工作参考价值（4 点）
- 可借鉴「符号验证器 + 模型自一致性」的双层校验：在电商 Agent 中，对价格计算、优惠规则等可形式化任务部署轻量符号求解器，对 LLM 候选输出做系统级修正，可在不改变模型参数的情况下提升可靠性。
- RLVR 中的多维奖励设计可迁移：将奖励分为答案正确性、证据一致性、推理深度/可解释性三类，能单独优化推理结构而不牺牲准确率；在推荐解释生成、Agent 决策理由生成等场景可借鉴。
- 任务感知路由：用轻量路由器将问题分发给不同专家（符号求解器 vs 神经模型），减少不必要计算并提高针对性；在电商多任务 Agent 中可按意图分流到不同工具或验证模块。
- QLoRA 微调时锚定权威答案（gold-anchored）可减少幻觉；在构建商品知识问答或客服 Agent 时，用结构化知识库答案做监督信号，提升生成内容的可靠性。
FiMI Banking：印度零售银行主权模型
🧭 Agent 后训练与工具使用优化
NPCI AI Research Team
用偏好优化提升安全拒答，用可验证奖励RL提升多轮工具调用与token效率
📌 工作参考价值（4 点）
- 对客服/导购 Agent，把 out-of-scope/敏感场景拒答 单独用 preference optimization 做后训练，能显著提升安全行为：银行场景从 52% 到 80%。电商里价格承诺、优惠券规则、保险理赔等高风险回答也可复用。
- 多轮工具调用任务用 RLVR（verifiable reward） 而非只靠 SFT/偏好优化：订单状态查询、改地址、优惠核销等可自动校验的任务，既能提升 edge-case 和顺序敏感任务成功率，又能减少 29% token，直接降低 Agent 调用成本与延迟。
- 业务 Agent 上线前，可搭建类似 可控评测环境：从内部文档构建结构化 ground truth + 合成用户背景 + 真实工具接口，用来评估模型是否乱调工具、乱拒或泄漏敏感信息。
- 偏好优化与 RLVR 互补：前者管回复层面安全，后者管多轮工具执行；业务 Agent 后训练可以考虑两阶段组合。
GRPO 中隐藏的伪优势：有界答案与搜索智能体中的猜测奖励
🧭 RLVR 优势估计修正 · 防猜测偏差
Rochester Institute of Technology · Adobe Research
识别 GRPO 优势估计在有限答案空间与搜索智能体中会奖励猜测行为，并提出 SIGNBALANCE 修正
📌 工作参考价值（4 点）
- 在二元验证 reward 的 RLVR 场景里警惕候选空间大小：电商/搜索 Agent 常把「点击/转化/找到商品」等做成二元 verifier，如果某一步的候选答案集很小（如选品类、选广告位、选价格档），GRPO 的组内归一化优势会奖励撞对的 rollout，策略容易被带偏为猜测而非推理。训练前可先审计每个 prompt group 的有效答案数量。
- 优势估计不要直接用组内 std 归一化：SIGNBALANCE 保持 verifier 的符号，使用全局尺度，并用 stop-gradient 按类别重缩放恢复零均值。工程上可以改成：对每个 prompt group 计算 sign 后，用全局 running std 或固定 scale，再按正确/错误类别分别做 baseline 校正，避免组内 composition 引入伪优势。
- 搜索 Agent 的 credit assignment 要区分路径质量：预算增加会让多条轨迹到达同一答案，GRPO 会奖励大量探索撞答案的轨迹。业务中训练搜索/推荐 Agent 时，如果 reward 只给最终结果，建议在轨迹中间步加入过程 reward（如 query 改写是否有效、是否看了正确商品）或对同终点轨迹做加权，降低撞答案的收益。
- 有界子任务单独处理：开放答案任务中可能嵌套有界子问题（如多选筛选条件），可对这类子步骤单独建模优势，或在 prompt 设计上扩大候选空间，减少 GRPO 伪优势的触发条件。
RISE：通过自外推策略蒸馏实现递归自改进
🧭 LLM 后训练 · RLVR 自外推蒸馏 ★ 深度解读
Salesforce AI Research
RISE 外推模型自身 RLVR 轨迹构造 token 级教师，实现递归自蒸馏，无需外部模型或特权条件
📌 工作参考价值（4 点）
- 对点击/转化/完成率等稀疏 reward 训练的推荐、搜索、对话/导购 Agent 策略，可以借鉴 RISE 的两阶段循环：先做一轮 GRPO/RLVR 得到 θ'，再把 θ' 与 anchor 的位移按 β 外推成“未来教师”，用 token 级蒸馏把稀疏 outcome 信号转成稠密监督；尤其适合多轮 Agent 的延迟奖励场景。
- 落地优先用 logit-space 外推：不物化 teacher 参数，只需缓存 anchor 与 post-RLVR 的 top-K logits（K=100，代码类可 K=20）并加 tail bucket；复用 RLVR rollouts，不增加采样成本，整体约 1.3–1.6× wall-time。
- 超参上建议 β0=1.2 并随训练线性衰减到 1；anchor 用 EMA（η=0.1）平滑更新方向，对噪声大的小模型或稀疏 reward 环境更稳；若 RLVR 单步方向已稳定可退回 previous checkpoint anchor。
- 必须有 reward grounding：去掉 RLVR 阶段仅外推自身位移会导致训练崩溃（MATH-500 掉到 2.4%，输出长度爆炸）；因此若业务 reward 可被 hack，需先保证 reward 质量或增加不确定性约束。
顺序优于联合：On-Policy 蒸馏与 RLVR 的相互作用
🧭 RLVR 与 On-Policy 蒸馏两阶段后训练 ★ 深度解读
University of Alberta · New York University · NYU Shanghai · University of Chicago · University of Waterloo
两阶段 OPD-then-RL 在逻辑与数学推理上稳定优于纯 OPD、纯 RLVR 及所有同一步混合的方法
📌 工作参考价值（4 点）
- 若业务中有稠密教师信号（大模型打分/业务规则）与稀疏奖励（点击、转化），不要每步加权融合；先跑 OPD 把模型推到教师支撑边界，再切 RL 做 reward sharpening，可避免梯度信号打架。
- 切换时机用 OPD 的离线验证分数：验证分数饱和后再切 RL，否则会过早封顶最终效果；电商/推荐里可对应用离线 AUC/召回，验证不再提升时再上策略梯度。
- OPD 冷启动优于离线 SFT：推荐/广告中若只有日志式行为克隆，尝试 on-policy rollout + 教师 soft label 蒸馏，可扩大长尾 query/item 覆盖，再进入 RL 收益更明显。
- 监控 sign conflict ratio 可发现 RL 是否破坏教师阶段的关键参数方向；对 embedding 或 attention 层可设不同保护等级。
Cliff：从首个错误中学习过程奖励
🧭 LLM 强化学习 · 过程奖励塑形 ★ 深度解读
Amazon Web Services · University of Illinois Urbana-Champaign
提出 Cliff 奖励塑形，利用 LLM 教师定位学生 rollout 中第一个错误，将正确前缀与错误后缀赋予不同优势，平均比 GRPO 提升 7%
📌 工作参考价值（4 点）
- 在 Agent 多步决策或搜索推荐的多轮交互中，可以用 teacher LLM 定位用户不满意或决策错误的起始步骤，只对错误后缀给负反馈，正确前缀保持中性/轻微正反馈，这比全轨迹统一奖励更细粒度且易于实现。
- 引入“首个错误”信号可避免训练需要精确步级奖励，降低标注成本；实测中等能力 LLM 即可胜任判断任务，且判断比生成更 robust，可借鉴用于电商场景中由中等规模模型判断对话/推荐轨迹质量。
- λ=0 的关键设计：对正确前缀不要给额外正奖励，只将负奖励集中在错误后缀，能防止模型为了延长正确前缀而长度 hacking。在推荐/文案生成中同样可防止模型输出冗余内容。
- 当 teacher 自己的参考解不可靠时，可先用可验证结果（如成交、点击）过滤 teacher 参考，只有 teacher 正确时才使用过程监督，否则回退到原始 outcome reward，这一策略可迁移到有业务指标的推荐系统中。
先验证再蒸馏：提示级教师门控的在线策略蒸馏
🧭 On-policy distillation 教师门控 ★ 深度解读
AllSpark Team
通过 verifier 探针按 prompt 门控教师信号，可靠才用稠密 OPD，否则退回 verifier-grounded GRPO
📌 工作参考价值（4 点）
- 蒸馏 / 生成式推荐中不要无条件信任 teacher：可对 teacher 生成的候选或软标签加一道低成本验证。用与最终 reward 一致的验证器（业务规则、点击 / 转化标签、代码单测等）采 KT=3 个样本，按 prompt 级通过率决定是否采用 teacher 信号；不过门就退回基于 outcome 的 GRPO 或直接 mask。
- 利用异步 pipeline 里空闲的 teacher 节点做 reliability probes：推荐系统离线训练中教师打分节点常因等学生 rollout 而闲置，把探针生成放在该窗口可把 GPU 利用率从不足 10% 拉到 70% 以上，end-to-end 时间开销仅约 6%。
- 硬路由优于信号插值：TGOPD 不使用加权混合 OPD 与 GRPO，避免不同密度、不同来源信号互相干扰。工程落地简单，且消融显示大部分收益来自屏蔽坏信号而非 fallback。
- 阈值设置从简：三探针两票通过（KT=3, τ=2/3）或多数投票即可，无需精细排序。对缺少精确 verifier 的开放域任务，可先用可自动判定的弱标签（如规则、分类器）验证，扩展受限时优先关注自信错误的高风险 prompt。
将大型推理模型扩展到人工监督之外：通往超级智能之路
🧭 LRM 自监督扩展训练路径综述
The Hong Kong University of Science and Technology · Zhongguancun Academy · Xi’an Jiaotong University · The Chinese University of Hong Kong · The University of Hong Kong
提出奖励轴与经验轴的双维分析框架及 L0-L4 五级阶梯，系统阐述 LRM 在减少人工监督下的扩展路径与风险
📌 工作参考价值（4 点）
- 在电商/广告 Agent 中，可借鉴「可验证奖励」设计：将业务规则、成交结果、用户后续行为等转化为自动校验信号，减少对人工标注的依赖，逐步从 L1 过渡到 L2/L3。
- 引入「经验质量评估」与「反馈保真度监控」：对模型生成的交互轨迹、推荐解释等建立自动评分器，防止在自主探索中出现课程坍塌或奖励黑客，类似推荐系统里的多样性约束。
- 构建模拟环境或沙盒，让 LLM Agent 在推荐/搜索 pipeline 中自我生成课程并迭代，但需加入对抗性校验和人工抽查作为安全阀。
- 注意反馈漂移：在自动奖励下，模型可能偏向表面指标（如点击率）而牺牲长期用户体验，需同时监控策略能力、反馈保真度和经验质量三个维度。
On-Policy 蒸馏真的在蒸馏吗？从噪声教师到自改进
🧭 LLM 强化学习 · 零外部监督自改进 ★ 深度解读
Purdue University
揭示 OPD 增益主要来自抑制低概率 token 而非教师蒸馏；提出零外部监督的熵自适应负优势法 OPSA，AIME24 Avg@32 提升 263%
📌 工作参考价值（4 点）
- 在做 agent/LLM 策略后训练时，如果已使用 OPD/蒸馏提供 token 级信号，可先做噪声审计：统计 teacher 优势方向与最终 reward 不一致的比例；若噪声高，可直接对低 logp token 施加固定或熵自适应负优势，省掉 teacher forward 和 reward model，降低 off-policy mismatch。
- 对商品文案生成、query 改写等需要保持多样性的生成任务，可借鉴 OPSA 的 token 选择：只更新每个 rollout 中最低 20% log-prob tokens，避免高置信 token 的无效更新；同时在高熵位置施加更强负优势，抑制低概率 tail，保留 head 间概率重分配，防止 pass@k/多样性崩溃。
- 多轮购物导购、自动客服等需要长程推理和自我修正的 agent，可把 OPSA 作为廉价的 reasoning post-training 插件：不依赖外部 reward/hint，让模型在无标注下延长反思轨迹、提升最终答案质量；但要注意它主要重分配已有概率质量，初始策略过强或分布过尖时收益可能有限。
- 工程上可直接用 slime/Megatron 实现；无 teacher 额外 forward，训练吞吐优于 OPD，适合资源受限团队。
组自适应裁剪策略优化（GAPO）
🧭 RLVR 训练 · 自适应裁剪 ★ 深度解读
University of Toronto · Amazon
将 RLVR 中固定裁剪上界改为按组内正确数 c 闭式缩放，保护稀有正确 rollouts 的探索信号
📌 工作参考价值（4 点）
- 在电商/搜索/对话式推荐中用 GRPO/GSPO 做 LLM 微调时，可以直接把固定 clip 上界换成 GAPO 的闭式自适应上界：epsilon_hi(c) = epsilon_lo + (epsilon_max - epsilon_lo) * (k-c)/(k-1)，只需根据当前 prompt 的 group 内正确样本数 c 调整 clip，几乎不增加超参数，且无需 reward shaping。
- 注意 advantage 归一化：不要对 group 内 reward 做 std normalize，否则会放大全对/全错组的权重，稀释稀有正确样本的学习信号；保留原始 advantage 更利于探索，这一结论可以直接迁移到 query 生成或商品文案生成的 RLVR 训练。
- 当发现模型 pass@1 尚可但 pass@k 多样性下降、困难 query 覆盖变差时，优先检查 clip fraction 是否对低 c rollouts 过高，尝试把固定上界改为按 c 线性插值，成本极低，能有效保留困难 query 上的正确生成模式。
- 若条件允许，尽量使用 sequence-level IS 而非 token-level IS；论文中 sequence-level 变体在数学基准上 pass@1 更高，且在相同 clip range 下比 token-level 更稳定，可作为架构选择参考。
可验证奖励的程序学习：后训练LLM的符号反向传播
🧭 LLM 后训练 · 符号反向传播程序学习
CoreThink AI
提出PLVR，用符号反向传播从少量示例学习显式可验证程序，替代权重更新完成LLM后训练
📌 工作参考价值（4 点）
- 把电商/推荐 Agent 中可验证的中间步骤（价格计算、库存校验、规则判断、SQL 生成）抽成 typed primitives，用程序搜索学习编排逻辑，而不是微调模型权重：能力外置后可审计、可逐步验证、可跨模型迁移。
- 用 per-step contract verdict 做 dense reward 替代只校验最终结果，能显著提升多步工具调用链（query 改写→召回→过滤→排序）的学习效率，适合用于训练或引导推荐 Agent。
- 新任务只需约 100 条示例的程序搜索，无需新微调数据；同一原语库可服务多业务线，边际成本低，适合快速扩展不同场景的可验证逻辑。
- 符号反向传播中的类型推断可作为可解释的 credit assignment，用于混合确定性规则与 LLM 判断的业务流程，避免黑盒 RL 的大样本需求。
入口锁定，内部开放：RLVR 收窄推理解空间的位置研究
🧭 RLVR 推理多样性收缩与入口干预
School of Future Technology, Shanghai University · School of Computer Science, University of Birmingham
定位 RLVR 训练后解空间收缩集中在首个算术操作前，提出晚期参数插值在保持 pass@1 下恢复 37% 覆盖。
📌 工作参考价值（4 点）
- 电商/搜索/Agent 场景用 RLVR 或 RLHF 优化 LLM 后，要监控早步 token 熵：若首步熵快速塌缩，生成候选的多样性和长尾覆盖会下降，影响 query 推荐、文案生成和探索型 Agent。
- 想要恢复多样性但不想牺牲主指标，可尝试参数级干预：将晚期层参数与早期 checkpoint 插值，比 surface prompt 有效，类似推荐模型在 exploit/explore 间做平滑 trade-off。
- 训练管线建议优先 staged SFT–DPO–RLVR，而不是直接上 RLVR；这样能保留早步熵，避免削弱后续多次采样、self-consistency、树搜索等 test-time scaling。
- 若业务依赖 RLVR 后模型生成多个候选，不要指望 prompt 层“生成更多样方案”能救回来，需要从训练状态或解码策略入手。
用强化学习训练工具集成数学推理
🧭 RL 训练工具调用数学推理 ★ 深度解读
Department of Energy Science and Engineering, Stanford University
在 Countdown 任务上证明工具调用与 RLVR 互补，Tool-DAPO 把 pass@1 从 35.8% 提升到 66.0%
📌 工作参考价值（4 点）
- 在需要精确数值计算的 Agent 链路（优惠计算、折扣叠加、预算控制、运费）中引入计算器工具，用 <tool>expression</tool> 调用并注入 <obs> 环境观测，可显著减少算术/验证错误；RL 更新时只对模型生成 token 计算 loss，工具输出不参与梯度传播。
- 自动构造带工具调用的 SFT 数据：先定位推理链中的错误算术步，在该步前插入 calculator call，再由参考模型继续生成正确后续推理，能低成本生成 tool-use 训练样本，类似思路可迁移到需要计算校验的 query 理解或搜索词生成。
- 做 RLVR 训练时，若 GRPO 出现训练不稳定，可借鉴 DAPO 的动态采样过滤掉全对/全错 prompt group，或改用 RLOO++ 的 batch-level advantage 归一化，避免零方差 group 带来的噪声更新；本论文中 Tool-DAPO 过滤了 60.7% 的 group，训练效率明显更高。
- 评估 pass@k 时小测试集置信区间很宽，容易误判；建议构造大规模无重叠 held-out set，并用 bootstrap CI 比较不同策略，业务离线评测同理。
RLVR 多域能力融合范式深度对比
🧭 RLVR 多域融合范式对比 ★ 深度解读
Fudan University · Tencent
系统对比 Merge、Mix RL、MOPD，发现跨域关系决定性能，融合仅重排已有解不扩覆盖
📌 工作参考价值（4 点）
- 多能力 LLM 后训练融合选型：如果线上已有 query 改写、商品文案、Agent 工具调用等分别 RLVR 产出的 LoRA/全参 expert，优先试 Merge/Task Arithmetic，融合成本几乎为 0；但下单前先算 task-vector cosine，IF/Agent 类能力通常与其他域近乎正交，merge 后会掉点，需单独评估或提高权重。
- 如果没有现成 expert 且要训练统一模型，用 Mix RL 成本约为单域 RL 的 0.58-0.67x；数据混合比例不能简单按自然数据量，推理型任务（数学/代码/科学）可以互相增强并适度降低配比，指令遵循/Agent 类缺少正向迁移，必须保证足够的采样占比，否则对应 benchmark 会明显塌陷。
- MOPD 适合已有 domain experts 且要求各域精度不掉、可以接受端到端成本更高的场景；它的收敛快但被 teacher 上限约束，不适合期望超越单专家的场景。
- 融合只提升 pass@1、不扩大解覆盖，对搜索/推荐里首屏 top-1 质量优化有效；若目标是长尾多样性或生成式 item ID 覆盖，需要额外做采样、多样性约束，而不是靠单模型融合。
弱模型引导提升 RLVR 中 LLM 探索
🧭 LLM 强化学习 · 探索增强
Wangxuan Institute of Computer Technology, Peking University · National Engineering Research Center of New Electronic Publishing Technologies
用弱模型生成部分推理前缀，强制主模型续写陌生路径，缓解 RLVR 熵坍塌并提升 pass@k
📌 工作参考价值（4 点）
- 在搜索/推荐场景用 RLVR 微调 LLM（如 query 改写、商品文案生成、可验证奖励排序决策）时，可引入弱模型前缀：用轻量模型生成部分推理或候选文本，由主模型续写，以提升生成多样性，适合需要多个候选解的生成式推荐与 Agent 决策。
- 对 pass@k 有要求的生成管道（多路 query 建议、多候选推荐解释），熵保持比单条平均奖励更重要；该方法无需额外 SFT 或复杂奖励设计，可直接复用现有粗排/轻量模型，工程成本低，作为训练阶段的即插即用探索增强。
- 多模型协同（粗排-精排、teacher-student、Agent 层级）可借鉴跨模型扰动思路：刻意用弱模型产生分布不一致的前缀，让强模型适应陌生输入，提高策略鲁棒性；需注意差异过大可能引入噪声，应调节前缀长度或来源模型。
- 若 RLVR 奖励可验证（点击、转化等），可设计外部前缀机制，避免主策略在高奖励模板上过拟合，扩大覆盖的推理路径。
基于可验证奖励的在线策略蒸馏
🧭 RLVR+OPD 无缝结合训练推理模型 ★ 深度解读
LeapLab, Tsinghua University · Beihang University · SMS, Peking University · NLPLab, Tsinghua University
对采样 token OPD 的 log-ratio 奖励做 ReLU 门控，使教师信号与轨迹正确性对齐，零超参结合 OPD 与 RLVR
📌 工作参考价值（4 点）
- 可直接复用的训练 trick：若业务中已有可验证奖励（点击、转化、GMV 等）和教师模型或旧版模型，可在 on-policy 蒸馏损失中只加一行 ReLU 门控——正确轨迹上 max(0, log(πT/πθ))，错误轨迹上 -max(0, log(πθ/πT))，无需额外超参或 loss 权重，即能避免教师信号与业务奖励方向冲突。
- GRPD 替换二元 reward：用 GRPO 的 group-relative advantage 替换二元正确性 sign，再做同样的 ReLU gate，可平滑引入相对优势信息；适合推荐/广告中 reward 噪声大、需要组内归一化的场景。
- 训练健康度监控指标：论文观察到 zero-gated token ratio 稳定在 40-50%，可作为训练健康的实时监控；如果该比例过高或过低，说明教师信号与业务奖励大量冲突或几乎无冲突，需要检查教师模型质量或 reward verifier。
- 架构兼容性：该方法可无缝接入现有 PPO/GRPO/DAPO 训练框架，不改变采样流程；在已有的 RL 训练脚本中实现成本低，适合快速验证。
环境正则化策略优化：用 Query-KL 解耦 LLM 训练的稳定与探索
🧭 LLM 强化学习训练稳定性优化 ★ 深度解读
AMAP, Alibaba Group · Xi’an Jiaotong University · JD.com · Beijing Normal University · National University of Singapore
提出 ERPO，将 KL 正则从输出侧移到输入 query 分布侧，在保持探索的同时控制训练环境漂移
📌 工作参考价值（4 点）
- 在生成式推荐/query 改写等 LLM RL 训练中，可尝试用 Query-KL 替代或补充 Policy-KL：约束模型对输入 prompt 的似然漂移，而不是限制输出分布，从而保留输出空间探索，缓解长程训练崩溃。
- 工程实现低成本：用 pre-RL 参考模型预计算并缓存训练集中每个 query 的 log-likelihood，训练时直接复用当前 policy 的前向结果计算 Query-KL；无需额外 forward pass，可直接插入现有 GRPO/PPO/RLOO 框架。
- 对每个 query 按参考模型下的似然做加权（低概率 query 降权），可降低梯度方差、减少对长尾/低质 prompt 的过拟合，适合电商/搜索中 user query 分布不均的场景。
- 用多温度采样（如 0.1~1.5）评估 RL 训练后的模型稳定性，能暴露高温解码下的性能退化，比单一温度更全面；可作为生成式模型上线前的稳定性测试手段。
无CoT数据下推理后训练：混合SFT优于下一块推理RL
🧭 推理后训练 · 数据混合与RLVR ★ 深度解读
University of Science and Technology of China · Shanghai AI Laboratory
同一RLVR预算下，单阶段混合no-CoT与long-CoT的SFT比next-chunk reasoning RL效果更好且省60倍以上算力
📌 工作参考价值（4 点）
- 将高质量 long-CoT 与业务中大量“无 CoT”文本（搜索日志、运营方案、商品知识、用户问题简答）在同一个 SFT 阶段混合训练，再做 RLVR/DPO；不要先无 CoT 后 long-CoT 的顺序 SFT，否则会跨阶段遗忘。适合电商/Agent 中难以标注 CoT 但知识密度高的语料。
- 评估 Agent 推理、query 理解、推荐理由生成等能力时，不要只看 SFT 后中间 checkpoint；无 CoT 混合会造成格式混乱，pre-RLVR 掉点不代表能力差，应以 RLVR 后的最终 ceiling 做决策。
- 若想用 next-chunk reasoning 类 RL 从日志/文档中挖掘隐式推理，注意高熵 token ≠ 需要推理的困难 token；这类目标易塌缩为局部补全模板，且训练算力是混合 SFT 的 60 倍以上。优先把预算花在数据混合而非新增 RL 阶段。
- 对搜索/推荐/导购 Agent：保留短答案 + 长推理的联合 SFT 格式，后续用 verifier reward 修复格式不稳定，比中途切换训练目标更有效。
SPADE：自适应合成可执行环境中的自博弈
🧭 自博弈强化学习 · 可执行环境生成 ★ 深度解读
University of Washington · Stanford University · Northeastern University · Carnegie Mellon University · Massachusetts Institute of Technology
提出 SPADE 框架，让 LLM 在环境设计者与推理智能体双角色间自博弈，通过 hint-based regret 生成能力前沿的代码环境，实现开放自我改进
📌 工作参考价值（4 点）
- 模拟用户/环境生成：在电商多轮对话、推荐 Agent、搜索工具调用等场景，可用可执行代码环境（Gym reset/step）生成可验证的多轮交互任务，统一单轮与多轮 RL 训练。用商品数据库、用户行为日志构建沙盒，设计者生成任务，推理智能体进行工具调用；hint-based regret 自动调整难度，比固定难度或纯对抗更稳定。
- 语料库 grounding + 记忆：从真实用户日志、商品描述、搜索日志中采样作为环境生成条件，保持生成任务多样性，防止模式崩溃；用 memory buffer 存储高 regret 任务或难样本，避免重复生成已掌握场景。电商推荐中可用于生成多样化的用户目标/场景，持续提供训练信号。
- 稳定化训练技巧：双角色共享同一模型但独立优势归一化；延迟生成器更新并配合截断重要性采样；asymmetric clipping (ε_low=0.2, ε_high=0.28) 保留探索；regret 信号 floor 到 0 并混合难度锚点。这些在联合训练生成模型和策略模型的 RL 中可直接复用。
- 可验证奖励设计：工具使用环境包含状态检查和确定性 reset gate，确保任务可解且可验证；在电商多轮交互中可设计类似的成功准则检查，过滤无效环境，提高 RL 数据质量。
低资源语言推理微调：SFT 的所得、RL 的修复与准确率的盲区
🧭 低资源语言推理微调与行为评测 ★ 深度解读
Sophea AI · KIEFER SA
三个 MoE 模型希腊语推理微调显示：准确率被种子噪声主导，语言保真、推理预算与格式遵从等行为指标才稳定，RLVR 可修复 SFT 缺陷
📌 工作参考价值（4 点）
- 微调领域/多语言 LLM 时，不要把 accuracy 当唯一指标：固定种子做 3 次重复训练先测噪声地板；用行为指标（输出是否进入指定 schema、推理轮次/token 预算、格式遵从率）作为发布门槛，并控制指标与生成长度的相关性。
- 数据配方可迁移：如果模型只用于生成/推理（例如商品推荐理由、搜索 query 改写），去掉通用对话数据只保留 reasoning 数据可提升格式遵从与准确率（+6.9pp）；若需同时保留闲聊能力，两阶段训练并用 fallback% 监控第二阶段对指令遵从的破坏。
- RLVR（可验证奖励强化学习）能廉价修复 SFT 的格式缺陷：答案格式 fallback 从 24% 降至 2.5%、答案泄漏到推理通道从 3.5% 降到 0%，且不破坏已获得的希腊语推理习惯；在电商 Agent 中可用规则奖励约束输出 JSON/槽位，避免后处理重写。
- 多语言/低资源部署注意 serving 成本与 tokenizer 生育率：希腊语每词 token 是英语 2.3-2.5 倍，所以缩短 trace 不一定省 token；不同 MoE 家族可能一个省 3× token 另一个反而 1.6× 更贵，评估时要按自己 tokenizer 重算。
基于图结构在线难度估计的高效RLVR调度
🧭 RLVR 自适应样本调度
PDL Lab, College of Computer Science and Technology, National University of Defense Technology
提出图结构化在线难度估计器，共享相邻样本rollout反馈以缓解冷启动与滞后
📌 工作参考价值（4 点）
- 推荐系统冷启动与稀疏反馈：借鉴图结构上共享反馈的思路，对冷门 item/user 通过语义或行为相似图传播邻居的交互信号，缓解新 item 无曝光或曝光少的估计偏差，类似 GraphSAGE/标签传播，但这里用在线变分状态估计更平滑。
- Agent 任务调度中的预算分配：在 multi-agent 或工具调用场景，可按任务难度与相关性构建任务图，用 Beta-Binomial 聚合同一难度状态的任务执行结果，动态决定给哪些任务更多推理步数或工具预算，避免统一预算浪费在简单任务上。
- 训练样本重要性采样：电商搜索/推荐模型训练时，可以利用模型当前 loss/奖励作为反馈，通过图传播估计样本难度或信息量，对高难度但可学习样本提高采样权重或增强次数，对简单样本降权，提升样本效率。
- 在线均值场变分可复用于实时点击率预估中的 item/user 状态更新：将曝光/点击反馈按状态聚合，用先验鼓励相似 item 同状态，在线更新难度或价值估计，适合流式场景无批量重训练。
潜在在线策略自蒸馏
🧭 LLM Agent 在线策略自蒸馏训练 ★ 深度解读
National University of Singapore · Beijing University of Posts and Telecommunications · Shanghai Jiao Tong University
让 OPSD 的特权上下文从手工设计变为可学习的潜在表示，联合蒸馏提升 agent 与代码策略，样本效率显著优于 GRPO/Skill-SD
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 训练中，可将历史成功会话（用户目标+操作序列+结果）检索并压缩成 latent tokens 条件化 teacher，让学生从自己的 rollout 中稠密学习，避免人工写死“成功策略/提示模板”；线上推理只保留学生，不增加延迟。
- 使用 on-policy self-distillation 时必须加 privileged-margin 约束，否则 teacher 会退化到 student，联合训练效果反而比冻结 composer 更差；可用结果奖励（如转化/点击）加权 per-token advantage，margin 建议设在 0.05 左右。
- latent context 注入生产推理引擎不必改底层 embedding，用 placeholder sentinel + dummy token ids 即可兼容 vLLM/SGLang；训练后 composer 和检索索引可以完全离线。
- 在 RLVR 采样预算有限（如每天 1-2k 条 rollout）且需要快速策略迭代的推荐/广告 Agent 场景，latent-teacher 稠密监督比纯 GRPO 样本效率高很多，可作为内部训练组件复用。
基于变分学习的 RLVR 参数探索
🧭 LLM 强化学习 · 参数空间探索
INSAIT, Sofia University "St. Kliment Ohridski" · Technical University of Darmstadt · National Research Center for Applied Cybersecurity ATHENE
提出 3PO 方法族，通过采样多个策略参数实现参数空间探索，相比 GRPO 在相近 FLOPs 下持续提升 LLM 推理性能
📌 工作参考价值（4 点）
- 在基于 GRPO 的 RLVR 流程中（如训练生成式推荐/query 改写/对话 Agent），可引入参数空间探索：对 LoRA 权重采样多个扰动副本生成 rollouts，与温度采样互补，能缓解奖励信号稀疏导致的训练停滞。
- 借鉴 3PO 的分组奖励估计：将多个参数样本生成的 rollouts 分组计算优势，可减少零优势组，提升稀疏反馈（如点击/转化）下的训练信号利用率。
- 该方法在 near-identical FLOPs 下提升性能，适合业务场景有限的训练预算；可在现有 LoRA + RL 框架中低成本实现参数扰动，无需增加推理开销。
- 需注意：论文在数学/代码任务验证，迁移到推荐/搜索时需调整扰动强度与采样频率，并验证奖励函数（如延迟转化）下是否仍稳定。
DASH：发散自适应监督视野的在线策略自蒸馏
🧭 蒸馏训练 · 推理优化
Institute of Automation, Chinese Academy of Sciences · EverMind · Shanda Group · University of Chinese Academy of Sciences · Wuhan AI Research
提出DASH，根据局部发散与序列均值的差异自适应调整token级蒸馏权重，提升推理模型在线策略自蒸馏效果
📌 工作参考价值（4 点）
- 在推荐/广告场景的生成式模型训练中（如Semantic ID生成），若采用教师-学生在线蒸馏，可引入 DASH 的自适应门控机制，根据生成过程中每个token的偏差程度动态调整蒸馏损失权重，避免对所有token同等对待。
- 该方法不增加额外前向计算，仅复用已有的教师和学生分布，工程实现成本低，适合在已有OPSD流程中快速叠加。
- 对于使用RLVR训练推荐Agent的场景，可将 DASH 作为token级奖励塑形的一种手段，结合 KL 散度权重自适应调整，平衡探索与利用。
- 核心 trick：构建局部发散与全局均值的 gap 作为门控信号，可通过 simple 的递归聚合实现，无需复杂时序模块，易于部署。
稳定优势融合：在线策略蒸馏的熵崩溃应对方法
🧭 RLVR与在线蒸馏的稳定融合训练策略 ★ 深度解读
Shanghai University of Finance and Economics · Meituan · The Chinese University of Hong Kong, Shenzhen · Peking University
通过稀疏压缩控制量级、预热退火调度时间，稳定GRPO与OPD优势融合，避免熵崩溃并提升生成质量
📌 工作参考价值（3 点）
- 在强化推荐系统中，业务指标（如点击）提供稀疏奖励，教师模型（如大模型打分）提供密集信号，借鉴SAF的量级控制（top-k稀疏化+tanh压缩）可抑制教师信号中少数极端 token 对梯度更新的主导，避免训练崩溃。
- 采用KL散度触发的预热和线性退火策略，自适应调节教师信号强度，防止早期过度模仿限制探索，后期保留教师指引的同时释放业务奖励的探索压力，可迁移到Agent训练或生成式推荐策略优化。
- SAF仅修改优势融合部分，不增加额外模型或损失，实现轻量、即插即用，适合在已有强化学习训练流程中快速验证教师信号融合效果。
在线策略优化中验证器诱导的支撑重塑
🧭 RLVR在线策略优化的能力保持问题
Peking University · BUPT
在线RLVR优化单一目标会缩小后续任务可采样成功轨迹，导致pass@1与best@k背离
📌 工作参考价值（4 点）
- 多目标 RLVR/RLHF 后训练时，同时监控 pass@1、best@k 与“有成功轨迹的 prompt 比例”，避免平均奖励上升但尾部任务支撑塌缩。
- 对搜索/推荐 Agent 的指令遵循或格式约束训练，RLVR 可能只重排已有开头 token 而非生成新能力；可对前几个 token 加多样性正则或保留基座策略的开头分布。
- 顺序多目标训练（如先数学后 IF）应在每个阶段保存 checkpoint 并评估跨任务 best@k；参考策略约束、路由先验、蒸馏只能部分缓解，建议显式混合数据或联合验证器。
- 若用 RLVR 做转化/点击奖励的 on-policy 优化，需防止模型为提升即时反馈而牺牲搜索/检索友好性；可在 reward 中考虑前几个 token 的信息量或可搜索性。
Beacon：让视觉推理模型知道何时及如何调用工具
🧭 Agent 视觉推理中的自适应工具调用与强化学习 ★ 深度解读
Peking University · Kling Team · HKUST(GZ) · CUHK · ZJU
提出必要性感知自适应奖励与提示引导能力扩展，使模型能自适应调用工具并获真实性能增益
📌 工作参考价值（4 点）
- 自适应奖励设计借鉴：NAAR（必要性感知自适应奖励）可为电商/广告Agent中的工具调用决策提供参考——当纯文本推理即可解决问题时，对不必要的工具调用赋予较低奖励，但仍保留部分正向反馈（如0.25），避免抑制正确但冗余的工具使用；当纯文本失效时，正确工具调用获满奖励。这种软偏好平衡了效率与效果，有利于线上成本控制。
- 困难样本的专家引导训练：HCE（提示引导能力扩展）展示了如何利用教师模型生成子目标提示，引导策略在困难样本上探索，训练后再去掉提示使模型独立求解。这类似于在推荐Agent中处理长尾/冷启问题：先用强模型生成中间推理步骤的提示，帮助学生模型学习有效工具组合，最终摆脱对强模型的依赖。
- 在线标注避免分布偏移：NAAR 基于当前策略的组内正确性动态标注样本是否需要工具，而非固定教师模型。在动态变化的推荐场景（如季节性偏好）中，这种在线标注方式可让工具调用策略随模型能力同步进化。
- 混合策略优化与重要性采样：同时训练普通采样和提示引导采样的轨迹，并对提示轨迹使用重要性采样校正（将提示输入替换为原始输入），实现能力迁移。这一技巧可迁移到任何需要将外部知识注入策略训练的Agent场景。
CAST：以博弈求解器为 LLM 智能体提供回合级教学信号
🧭 基于求解器的回合级信用分配 · LLM Agent 训练
University of Science and Technology of China · Nanjing University · Wuhan University · Meituan
将求解器状态价值变化转为回合级优势信号，缓解长程游戏中的信用分配难题
📌 工作参考价值（4 点）
- 电商多步对话/搜索结果规划：可用商品检索器、报价引擎等“可求解环境”的状态价值变化作为中间奖励，训练 LLM 进行多步推荐或搜索，缓解稀疏结局信号的反馈延迟。
- 只用标量信号，无需 teacher logits：业务中部署求解器只需输出标量价值，通信与计算开销远小于蒸馏完整分布，适合大规模 Agent 在线训练。
- 探索引导：通过 solver advantage 指示哪些候选 action 更有前途，可植入 Agent 的候选排序或树搜索中，提升探索效率，减少无效调用。
- 泛化到未见场景：论文在零样本迁移到 ALFWorld/WebShop 上有效，暗示类似方法可用于训练能泛化到新品类、新用户意图的电商任务型 Agent。
从 RLVR 到 RLSVR：通过任务变换为开放领域 LLM 引入自验证奖励
🧭 LLM 自我改进 · 自验证奖励 · 多智体博弈 ★ 深度解读
Duke University · Adobe Inc. · Oregon State University · Pennsylvania State University · Amazon
借用自监督学习的任务变换思想，将开放任务重构为基于信息不对称的自我博弈游戏，自动产生可验证训练奖励
📌 工作参考价值（4 点）
- 对缺少可靠奖励的生成式任务（如文案生成、对话推荐、创意内容），可通过设计信息不对称的多智能体游戏来生成监督信号，避免依赖外部奖励模型或人工评判。
- 交替优化策略：轮流更新“表演者”与“检测者”，防止策略停滞与奖励崩溃，可在自对弈场景中保持持续改进压力。
- 角色优势估计（RAE）：当不同角色面临不对称难度时，通过减去角色专项基线来校准优势，避免因角色固有偏差损伤策略，可迁移到有角色差异的合作/博弈训练中。
- 分组投票机制：多玩家集体决策比单一评判更鲁棒，可以借鉴到多模型投票评估或集成式的自监督反馈系统中。
ISO：一种原生 RLVR 优化栈
🧭 RLVR 训练优化 · 等谱优化
The University of Texas at Austin · UIUC · Emory University · Together AI · Recursive Superintelligence Inc
发现 RLVR 中的谱继承现象，提出等谱优化框架，固定奇异值只优化奇异框架，加速训练与模型合并。
📌 工作参考价值（4 点）
- 加速 Agent 或推理模型微调：借鉴 ISO-Optimizer 将权重矩阵 SVD 后固定奇异值谱，仅优化输入/输出奇异框架，可在电商搜索 Agent 或生成式推荐模型的 RL fine‑tuning 中大幅减少训练步数，快速验证 reward 设计。
- 无数据模型合并：ISO-Merger 能将多个共享基模型的专项模型（如分别擅长意图识别、参数抽取的 Agent 模型）合并为一个固定谱模型，无需任何额外数据或梯度更新，直接产出可部署的聚合模型，降低线上迭代成本。
- 从预训练到 RL 后训练的优化器迁移：可保留基模型的谱结构，仅将标准优化器（如 AdamW）应用于奇异框架，在推荐系统召回或排序模型的后训练场景中，可能获得更稳定、更快的收敛。
- 模型压缩或部署：固定谱意味着模型大部分参数保持静态，可结合低秩更新或量化，适合边缘侧 Agent 或推荐模型的轻量化部署。
TRACE：分类学引导的多领域视觉推理环境
🧭 可验证奖励的视觉推理合成训练
Rochester Institute of Technology
基于场景语法与可执行任务程序构建可控、可验证的多域视觉推理数据，RL微调使VLM跨24基准平均提升3.5–4.1个百分点
📌 工作参考价值（4 点）
- 合成商品图像训练数据：借鉴场景语法（scene grammar）思想，按属性（背景、角度、材质）程序化生成大量商品图片，训练多模态模型精准理解商品属性，替代昂贵的人工拍摄。
- 可自动验证的视觉问答构造：利用可执行任务程序（task program）生成带精确答案的视觉问题，实现完全自动化的评测与奖励计算，可用于商品详情页问答、图像描述一致性校验等场景。
- RL微调提升多模态Agent决策：将RLVR框架迁移至真实业务指标（点击率、转化率等可计算信号），微调多模态Agent在图像排序、商品匹配等任务中的推理能力，无需额外人工标注。
- 分类学控制生成多样化训练样本：采用taxonomy-guided variation机制，可扩展到搜索词、查询意图的组合生成，丰富长尾覆盖，增强模型在电商推荐中的泛化能力。
混合事后自蒸馏H^2SD：分轨迹成败的推理增强训练
🧭 LLM 推理训练 · 事后自蒸馏
Shanghai Artificial Intelligence Laboratory · Harbin Institute of Technology · Fudan University · The Chinese University of Hong Kong
提出H^2SD，根据轨迹成败分别用重述增强和参考提示进行教师信号调制与蒸馏，提升推理训练稳定性和效果
📌 工作参考价值（4 点）
- 训练LLM Agent时，区分成功与失败轨迹：对成功响应只做重述增强，用重评估概率调制更新幅度，避免扰乱正确行为；对失败响应引入事后参考提示和逆向KL蒸馏，提供明确纠正信号
- 在商品推荐对话、多轮推理等场景，可利用用户反馈（如点击/转化）作为轨迹正确性标签，分别应用不同的教师蒸馏策略，克服稀疏奖励下的token级信用分配问题
- 混合教师上下文构建方式无需额外强教师模型，仅需事后正确答案（如验证器确认的结果），降低工程依赖，适合轻量级业务fine-tuning
- 重述指令（rephrasing）可凸显关键推理步骤，类似推荐解释生成中可对高质量解释进行改写增强，抑制冗余，提升生成效率与稳定性
超越熵：对比策略优化实现正确性感知优势塑造
🧭 RLVR中的正确性感知优势塑造
The Chinese University of Hong Kong · South China University of Technology · Nanyang Technological University
用对比分歧替代熵作为优势信号，实现RLVR中更细粒度的token级正确性感知和策略优化。
📌 工作参考价值（4 点）
- 在对话推荐或搜索Agent的RLHF/RLVR训练中，使用参考策略（如预训练LLM）与当前策略的token级分布对比分歧，替代熵来构造优势，可更精细地区分哪些token导致错误，从而提升训练效率。
- 处理推荐或问答任务中常见的“全对/全错”组（zero-advantage组）时，对比分歧可提供内部差异信号，避免训练数据浪费，尤其适用于二元成功反馈的场景。
- 利用正确与错误响应自然引导利用与探索的思想，可设计在线学习策略：对高奖励样本偏向利用（低温度），对失败样本增加探索（高温度或对比分歧驱动的扰动），平衡推荐Agent的短期准确率和长期多样性。
- On-policy蒸馏的视角为生成式推荐模型的知识蒸馏提供新思路：可将外部教师（如精排模型）的输出作为后验分布，用对比分歧对齐学生策略，提升列表生成任务的逐token优化。
通过在线策略蒸馏实现弱到强泛化
🧭 弱到强知识蒸馏 · 策略偏移迁移
SIA-Lab of Tsinghua AIR and ByteDance Seed · Institute for AI Industry Research (AIR), Tsinghua University · Department of Computer Science and Technology, Tsinghua University · Peking University
提出 Direct-OPD，将弱模型 RL 前后策略偏移作为隐式奖励，直接提升强模型推理能力
📌 工作参考价值（4 点）
- 在搜索/推荐排序中，若需对大模型做 RL 微调但资源有限，可使用小模型进行 RL（如优化 CTR），然后通过 Direct-OPD 将策略偏移量化为 log-ratio 奖励，蒸馏到线上大模型，避免大模型直接生成海量 rollout。
- 对生成式推荐场景，用 cheap 的小模型 RL 探索（如生成更吸引点击的标题或物品 ID），再以隐式奖励形式强化大模型，无需额外奖励模型即可提升生成质量。
- 在 Agent 系统中，让轻量级 Agent 先探索环境并计算动作概率变化，作为密集奖励训练大型决策模型，降低试错成本并加速策略迭代。
- 工程上可复用弱模型已有的 RL 训练信号，不必重跑昂贵 sparse-reward RL，支持增量组合多个策略改进，适合持续在线学习。
GRPO、Dr. GRPO 与 DAPO 统一为组标准差操作
🧭 GRPO/Dr.GRPO/DAPO 统一于组标准差操作 ★ 深度解读
University of Illinois at Urbana-Champaign
三种 RLVR 训练技巧本质上是对同一量（组奖励标准差）的乘、除、过滤操作，且更新量正好等于该标准差
📌 工作参考价值（4 点）
- 在推荐系统的 RLVR 训练中，若奖励为二元（如点击/未点击），优势归一化（除以组标准差）会改变隐式优化目标：除以标准差趋向 arcsine 变换，抬高极端难度样本的权重；去掉则回到原始成功率目标。可根据业务目标选择是否保留该操作。
- 无声组（组内奖励全 0 或全 1）产生零梯度，可借鉴 DAPO 的动态采样：在组 batch 中丢弃 σ=0 的组，避免浪费计算。在广告/搜索的曝光日志中，可预先识别全正或全负的 batch 并跳过更新。
- 组大小法则 G ≳ 1/(8ε p(1-p)) 给出给定难度 p 下达到目标梯度保真度所需的样本数。在物品或广告推荐中，不同物品（如冷门物品）的点击率 p 差异大，可据此动态分配每个 prompt 的采样预算，代替固定 G。
- 可以直接用组标准差作为每步训练的诊断指标：实时监测 σ 的分布和无声组比例，识别模型在哪些难度区间无有效对比信号，从而调整采样策略或奖励设计。
RLVR 场景下几何保持正交初始化 LoRA
🧭 LoRA 正交初始化提升 RLVR 训练稳定性
Johns Hopkins University · Meta · University of Texas at Austin
提出正交初始化 LoRA 稳定 RLVR 训练并超越标准 LoRA，解释 SVD 初始化在该场景失败原因
📌 工作参考价值（4 点）
- 在 RLVR 微调 LLM（如推荐理由生成、Agent 策略优化）时，用正交初始化（torch.nn.init.orthogonal_）替代默认 Kaiming 或 SVD-based，可稳定训练并提升性能。
- 已尝试 PiSSA/MiLoRA 而效果不佳的 RL 微调场景，可直接切换为 RLPO/RLMO，避免训练不稳定与性能倒退。
- 正交初始化简单易集成，工程代价低，可作为 RL 微调 LoRA 的默认初始化方案，尤其在需要长期稳定收敛的推荐或对话策略学习中。
- 理论结论“正交初始化使 LoRA 与全参数微调输出差距最小”具有通用性，适用于其他 RL 训练任务（如 RLHF 微调推荐模型）。
串联强化学习：可验证奖励下提升模型协作与可读性
🧭 RLVR 串联训练提升可读性
University of Toronto · EPFL
TRL 让强模型在 RLVR 中与冻结弱模型交替推理，在保持自身能力同时显著提升可读性和交接鲁棒性
📌 工作参考价值（4 点）
- 多模型协作代理：在电商搜索/推荐的多 Agent 系统（如 Planner-Executor）中，可借鉴串联训练思路，让强模型与弱模型交替生成，迫使强模型输出弱模型能理解的推理，从而降低通信错误，提升整体鲁棒性。
- 减少模型升级后的分布漂移：当线上推理模型（如 LLM Ranker）升级到更强版本时，旧模型作为弱模型参与串联微调，能缓解新模型生成的推理与下游模块（如旧版特征解析器）的不兼容，避免线上表现骤降。
- 提升 Chain-of-Thought 在推荐中的可解释性：直接对推理链进行 RLVR 训练容易产生人类难以阅读的符号或语言混合，TRL 框架可约束推理链对弱模型（或人类）更友好，从而让推荐解释更自然。
- 训练数据与线上推理的闭环：可利用弱模型模拟真实用户或下游模块，在离线训练中通过滚动生成的方式收集奖励，无需频繁的在线实验即可评估新模型与现有系统的兼容性。
通用推理的可迁移性：多领域RLVR自动课程学习
🧭 跨领域迁移感知课程 · RLVR
University of Toronto · Carnegie Mellon University · Princeton University · University of Illinois Urbana-Champaign · Max Planck Institute for Intelligent Systems
提出Transfer-Aware Curriculum (TAC)，利用梯度投影对齐自动选择能促进跨领域迁移的训练领域
📌 工作参考价值（4 点）
- 在多任务推荐或跨场景排序中，借鉴梯度投影对齐度量任务间迁移性，动态调整训练数据采样权重，避免领域不均衡导致头部任务垄断。
- 在LLM微调业务中，用在线bandit策略融合局部学习进度与跨域迁移信号，无需人工设计课程，且计算开销极小（<1%），适合工程落地。
- 可利用RL训练已产生的优势函数和投影梯度，不必额外构造监督信号，降低实现复杂度。
- 实际场景中，若领域间存在正向迁移（如通用语义理解可为多个下游任务带来增益），TAC思路可扩展至多领域对话、多意图排序等场景，提升整体性能。
无需标准答案的强化学习提升LLM性能
🧭 无真值答案的RL训练 · 校准奖励
University of California, San Diego · Snowflake AI Research
通过排名诱导的可验证奖励框架，在无真值答案的得分任务上训练LLM并泛化至精确解基准
📌 工作参考价值（4 点）
- 在推荐系统 RL 训练中，若奖励来自用户行为等连续值，不同用户或场景的奖励幅度差异会导致 scale dominance，可借鉴 实例级归一化 或 排名奖励，而非使用原始绝对分数。
- 于在线学习或探索场景，频繁出现的次优解可能淹没偶然的高质量样本（frequency dominance），可对每个 queries 组内解进行排名，仅对 top-k 赋予显著正奖励，其余给予有界负反馈，稳定策略更新。
- 利用 得分型优化任务（如离线的时长/收益预估）作为辅助训练环境，无需人工标注真值，通过校准的连续奖励提升模型通用能力，可能迁移至生成式推荐中的物品排序或文案生成。
- 奖励塑造中保留对 有效但非最优解 的信息（如温和负奖励或 entropy 奖励），预防模型过度集中，保持探索性，类似推荐中的 diversity 考量。
GraphPO：基于图的策略优化用于推理模型
🧭 图结构策略优化 · 推理效率提升
Gaoling School of Artificial Intelligence, Renmin University of China · Ant Group
将推理路径建模为有向无环图，合并语义等价状态共享后缀，减少冗余探索并提升 RLVR 效率
📌 工作参考价值（4 点）
- 多步推理任务中的冗余剪枝：在对话式搜索、商品推荐 query 改写等链式推理场景，可将推理步骤表示为有向无环图，当不同中间状态语义等价时（如“想买运动鞋”和“需要跑步装备”），合并为同一节点共享后续路径，减少重复计算和 token 消耗。
- Agent 搜索/交互的策略优化：在基于 RL 的 Agent 决策（如多轮商品搜索、广告竞价策略）中，用图结构代替树结构，对相似交互路径进行等价类合并，使探索预算聚焦到多样性分支，加速策略收敛。
- 过程奖励信号的精细化：借鉴 GraphPO 对节点入边赋效率优势、出边赋正确性优势的设计，可以为中间步骤提供更稳定的局部奖励，替代传统稀疏结果奖励，适用于需要过程监督的生成式推荐模型训练。
- 降低优势估计方差：理论及实验表明跨分支合并能降低优势估计方差，在推荐强化学习中同样可对相似用户状态聚类，提升训练稳定性。
STARE：惊喜引导的令牌级优势重加权实现策略熵稳定
🧭 GRPO熵稳定性 · 惊喜引导重加权 ★ 深度解读
Tsinghua University · Tencent Hunyuan
基于惊喜分位数识别熵临界令牌并重加权其优势，配合目标熵闭环门控，稳定GRPO训练中的策略熵
📌 工作参考价值（4 点）
- 在LLM的RLVR训练（如生成式推荐、对话Agent的策略优化）中，使用令牌级惊喜（surprisal）分位数选取熵临界令牌进行优势重加权，可有效防止策略熵过早坍塌，维持输出多样性，避免模型陷入局部最优。
- 闭环目标熵门控策略可直接迁移：设定一个业务期望的熵目标（如不使生成结果过于单一），在批平均熵低于阈值时自动激活重加权，恢复后回退，实现无过度干预的稳定训练，适用于线上持续学习场景。
- 惊喜分位数代理（top-P%选择代替精确阈值计算）极其廉价，适合大规模分布式RL训练，可在不增加显著计算开销的情况下实施。
- 令牌级信用重新分配（放大正优势高惊喜令牌、衰减负优势高惊喜令牌）能鼓励模型探索“不常见但可能关键”的推理路径，对需要长程反思和自我纠错的Agent应用有直接增益。
RLVR稳定性梯度分析与赢家优势策略优化
🧭 RL训练稳定性分析与策略优化
Layer 6 AI
通过梯度分析揭示GRPO崩溃机制，提出仅对正优势序列更新的WAPO，提升训练稳定性与性能。
📌 工作参考价值（4 点）
- 在RL微调推荐/Agent模型时，只对奖励高于平均的生成结果（正优势）进行策略更新，可避免负优势样本导致熵增和输出崩溃，是一种简单的实现 trick。
- 裁剪策略梯度更新幅度（类似 PPO 的 clipping），防止梯度爆炸，保持训练稳定，可直接集成到现有 RL 训练流程。
- 论文提出的 token 级梯度分解与稳定性分类法可用于分析推荐模型的 RL 微调行为，诊断训练不稳定是由哪些 token 分布引起，指导超参调整。
- 使用在线采样（on-policy）而非重用旧策略样本（off-policy），可减少策略漂移带来的问题，在推荐系统的多步 Agent 训练中值得尝试。
通过检索增强强化微调学习类比推理
🧭 检索增强的强化微调与推理效用学习 ★ 深度解读
Meta Superintelligence Labs · Rice University
提出 RA-RFT，用推理效用蒸馏检索器，并在强化微调中注入类比演示，大幅提升数学推理性能
📌 工作参考价值（4 点）
- 检索应面向任务效用而非表面相似：在电商推荐中，传统的语义相似召回可能带不来转化或点击，可用 judge 模型离线蒸馏“转化效用”标签，训练检索器优先召回能提升下游任务（如购买）的 item，而不只是语义相关。
- 强化学习训练时可注入类比案例：在对话 Agent、多智体协作等 RL 训练中，可将历史成功轨迹作为演示（类比），以少量上下文形式注入，提高奖励信号密度，加速策略学习，方法可套用 RA-RFT 的"检索-蒸馏-注入"流程。
- 多向量检索更适合结构级匹配：使用 ColBERT 等 late-interaction 模型捕捉推理结构或交互模式，适用于需要挖掘行为序列相似性的场景，如推荐中的 session 匹配、用户轨迹类比。
- 训练目标决定检索增益：仅做 SFT 时检索增益微弱，须配合让模型主动探索并选择性利用外部信息的训练范式（如 RLVR），这提示在将 RAG 融入推荐 agent 训练时，要用生成式奖励而非固定目标的监督学习。
超越统一 token 级信任区域的 LLM 强化学习
🧭 推理强化学习 · 信任区域 ★ 深度解读
Tencent Hunyuan
提出 CPPO，通过位置加权与累计前缀预算的 token 掩码，使信任区域匹配自回归结构，显著提升推理 RL 的稳定性和准确率。
📌 工作参考价值（4 点）
- 位置感知的信任区域分配：在 LLM 强化训练中，不应使用统一的 token 级阈值。可以对早期 token 施加更严格的约束，后期放松，权重可采用线性递减调度（如从 1 到 w_min）。这在长序列生成任务（如多轮 Agent 对话、推荐解释文本）中特别有用，可防止早期偏差扩散。
- 累计前缀预算机制：不要独立评估每个 token 的散度，而是跟踪加权前缀平均散度，一旦累积超过阈值就动态收紧后续 token 的允许散度。此方法可作为 drop-in 掩码直接嵌入现有 PPO/GRPO 训练流程，无需修改损失函数或优势计算。
- 通用性：方法不依赖特定的散度估计（TV/KL 均可），且与不同的 token 级散度近似（Top-K、Binary）兼容。适用于电商场景中的商品描述生成、对话策略优化、生成式推荐序列建模等需要 RL 微调的场合。
- 自适应阈值设置：在基础模型训练初期，可采用基于序列自身散度分位数的自适应 δ_b，避免过度裁剪早期探索。稳定后切换为固定阈值，平衡探索与稳定。
影响引导的自我进化提升推理能力
🧭 自我进化训练 · 影响引导课程学习 ★ 深度解读
Yale University · Stanford University · University of Chicago · Toyota Technological Institute at Chicago · University of California, San Diego
提出INFUSER框架，用影响分数指导生成器与求解器协同进化，无需外部教师，大幅提升数学和通用推理性能。
📌 工作参考价值（4 点）
- 影响分数作为合成数据质量度量：使用开发集梯度与合成样本引起的模型更新方向的余弦相似度来评估单个样本的训练价值，可借鉴到推荐系统的样本筛选或Agent领域的数据蒸馏，替代简单的难度或困惑度指标。
- 生成器-求解器协同进化范式：将生成训练数据与模型训练建立成双层博弈，让生成器根据求解器当前能力实时调整输出，这类似推荐系统中召回与排序的联合优化或Agent多体协作的场景，可以通过更小的开发集引导数据生成远离分布外噪声。
- DuGRPO稳定连续奖励训练：针对影响分数这类连续且带噪声的奖励，提出组内+批内双重归一化，避免低方差组的噪声放大和高方差组的梯度主导。在推荐模型的强化学习微调（如GRPO）中，当奖励函数从离散点击变为连续业务指标时，可直接复用该归一化技巧。
- 文档池作为可持续课程来源：利用无结构化文档（如教材）作为生成器输入，无需昂贵的人工标注，结合影响引导就能自动形成难度适中的课程。电商场景中可用商品描述、用户评论等非结构化文本，生成多模态问题-答案对，持续提升对话Agent或推荐解释生成的质量。
动态跨模态协调强化学习提升视觉推理
🧭 多模态大模型视觉推理训练优化
University of Trento · BAAI · Singapore Management University · IQuest Research
通过对齐token功能角色与实际注意力分配，改进RLVR中的跨模态协调
📌 工作参考价值（4 点）
- 多模态电商/推荐系统（如商品图文联合推理）可借鉴 token 功能角色划分思想，显式建模视觉感知与文本推理步骤的交替，减少幻觉或不一致。
- 在强化学习训练中，可引入基于注意力对齐的中间过程信号作为辅助奖励或重要性权重，而不仅依赖最终结果奖励，有助于提升生成序列的合理性。
- Fisher-Rao geodesic 距离可用于分析序列生成时模态内的注意力转移模式，作为一种新的可解释性工具，诊断多模态 Agent 的信息流问题。
- 对多模态 Agent 的 CoT 推理设计，可显式区分“提取视觉证据”步与“文本上下文推理”步，并加入对齐约束，提高决策准确性。
小模型天然为GRPO提供策略级多样性
🧭 GRPO训练中策略级探索增强 ★ 深度解读
Tsinghua University · Shanghai AI Laboratory · The Chinese University of Hong Kong · City University of Hong Kong
利用同家族小模型的策略级多样性替代token噪声，通过渐进退火实现大模型训练加速与性能提升
📌 工作参考价值（3 点）
- 在推荐/Agent场景中，可借鉴用能力较弱但行为更多样的模型（如蒸馏小模型）生成候选离线样本，训练更强的决策模型，实现低成本探索。
- 渐进退火策略：训练早期多用小模型rollout保证多样性，后期逐步切换至大模型on-policy，避免分布偏移导致性能退化，这一机制可直接用于离线强化学习或推荐系统的A/B策略优化。
- 利用同一模型家族内天然存在的策略差异（通过蒸馏带来的参数级扰动）作为多样性源，比粗暴提高采样温度更稳定、生成的序列更具逻辑连贯性，对需要保持文本质量的电商文案生成等多步推理任务有参考价值。
基于鲁棒评分标准的强化学习奖励方法
🧭 多模态准则级强化学习奖励设计
Huawei Technologies Co., Ltd.
将RLVR扩展到准则级验证，通过LLM抽取器+确定性验证器与LLM评判双路径、最小暴露和分层聚合，显著提升多模态模型性能
📌 工作参考价值（4 点）
- 推荐/Agent 的多目标优化可借鉴分层聚合思想，将核心指标（如点击率、转化率）作为 essential criteria 优先保障，辅助指标（如 diversity）按权重融合，避免多目标互相干扰。
- 对于部分可验证的业务指标（如推荐结果是否符合政策规范），可采用“确定性规则提取 + LLM 评判”双路径奖励：先用规则快速检查硬约束，再用 LLM 评估主观质量，兼顾效率与灵活度。
- 最小暴露策略（屏蔽 ground truth 或原始图片）可直接用于奖励函数设计，防止模型学习到利用奖励漏洞的采样行为，提升在线 RL 训练的稳定性。
- rollout 组内分数缓解饱和的技巧可迁移到推荐策略梯度训练中，通过组内 baseline 或标准化避免模型过早收敛到次优策略。
LongTraceRL：利用搜索代理轨迹与评分量规奖励学习长上下文推理
🧭 长上下文强化学习 · Rubric 奖励 ★ 深度解读
Tsinghua University
通过搜索代理轨迹构建分层干扰项与实体级评分量规奖励，大幅提升长上下文 RL 的训练效果
📌 工作参考价值（4 点）
- 训练数据构造：借鉴搜索代理的打开/引用行为生成高混淆度（打开但未引用）与低混淆度（检索到但未打开）干扰项，比随机采样或单次搜索更贴近真实检索场景，可迁移到电商长文档推荐解释、多跳问答数据增强。
- 过程奖励设计：实体级 Rubric 奖励只施加于最终答案正确的样本（positive-only），有效防止模型通过枚举实体而不做真实推理来刷分。在 Agent 工具调用或多步推理任务中，可对中间关键信息（如商品属性、状态变迁）设计类似逐项检查的奖励，避免 reward hacking。
- 组内归一化：对不同难度的样本，在 rollout 组内归一化 Rubric 分数，使过程信号与难度解耦，让不同任务的奖励尺度可比较，利于通用训练。
- 适中权重：超参 α=0.3 时效果最佳，过大（0.5）会稀释结果奖励；经验上可在多目标 RL 中保持 outcome reward 主导地位。
Mellum 2：面向高效代码助手的12B MoE模型训练与架构
🧭 代码生成与推理LLM · MoE架构与训练 ★ 深度解读
JetBrains · Constructor University, Bremen, Germany
开源12B/2.5B活跃MoE代码模型，通过架构与训练设计在2.5B算力下达成7B级性能
📌 工作参考价值（4 点）
- MoE部署经济学：通过64选8专家架构，总参数量12B但单token仅2.5B，推理成本可比拟7B密集模型。若在推荐系统中使用MoE，可参考其GQA+SWA+MTP的组合设计，压缩KV cache并利用推测解码加速。
- 三阶段课程学习：预训练数据从通用网页逐步切换到高质量代码/数学（代码比例23%→42%→59%），在lr decay阶段集中最干净的数据。推荐模型训练中也可借鉴：初期用大规模行为数据，后期用精选交互序列，并在lr衰减期引入高标准标注数据。
- 长上下文扩展的层选择性YaRN：仅对全局注意力层应用频率重映射，滑动窗口层保持原样，节省计算且有效保持长短文本性能。对于需要长序列建模的推荐场景（如用户长期行为），可尝试类似分层扩展策略，避免全量RoPE调整。
- RLVR避免奖励模型噪声：用可验证奖励直接优化策略，省去奖励模型训练。在推荐中，若存在确定性的正负反馈（如购买、跳过），可构造程序化的reward函数，减少RLHF的工程成本和不确定度。
组合合成：通过原子分解与重组扩展代码 RLVR 规模
🧭 代码 RLVR 数据生成 · 原子分解重组
Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Lero the Research Ireland Centre for Software, University of Limerick · The Chinese University of Hong Kong, Shenzhen · The Hong Kong University of Science and Technology
提出原子分解与重组框架，通过分解并受控重组生成新颖、高难度代码任务，提升 RLVR 训练的可扩展性
📌 工作参考价值（4 点）
- 数据增强思想可迁移至推荐/Agent 场景：在生成推荐 Query、Agent 指令或测试用例时，可将现有数据分解为原子元素（如商品属性、用户意图、操作序列），再通过受控重组生成多样化的新样本，提升训练数据的覆盖度和难度。
- 组合式合成解决多样性瓶颈：业务中常遇到训练样本同质化问题，借鉴原子分解思路，设计可组合的原子单元与约束规则，可系统性生成大量不同难度梯度的样本，用于模型能力爬坡。
- 自动生成高质量验证测试：ADR 同步生成代码与对应单元测试的思路，可迁移到 Agent 任务中自动构造评估用例，例如在生成式推荐中自动生成商品描述并附带可验证的约束条件，实现自动化评测。
- RLVR 训练范式在非代码领域的延伸：论文证明了可验证奖励与合成数据的结合能稳定提升模型能力，若能在电商 Agent 任务中定义可自动验证的奖励信号（如订单成功率、交互符合业务规则），则可套用类似框架进行大规模 RL 训练。
BASIS：单Rollout批内共享信息实现低方差优势估计的LLM推理后训练
🧭 RLVR · 批内优势估计削减方差 ★ 深度解读
University of Science and Technology of China · London School of Economics and Political Science · University of Oxford
利用跨提示的批内奖励加权平均，仅需单次采样即可获得比GRPO8次采样更准的价值估计，训练时间减半且性能接近多轮次基线。
📌 工作参考价值（4 点）
- 批内信息共享替代多采样：在电商推荐或Agent强化学习中，若每个请求只产生一条轨迹（如一次推荐列表），可以利用同一批次内其他请求的奖励，通过加权平均估计当前请求的基线价值，相当于用“横向”信息替代“纵向”重复采样，降低方差而不增加采样成本。
- 离线价值表+在线校准套路：先利用参考模型（例如上线前的模型）对每个提示采样少量结果，构建离线初始价值估计（如KL‑正则化最优价值），训练时再通过最小化误差在线选择一个温度参数β来校准，这种“离线预热+在线自适应”的模式可迁移至需要稳定价值估计的场景，比如生成式推荐的RL微调。
- 自适应权重避免极端噪声：当某些提示的预估价值接近0或1时，贝努利方差趋于0会导致权重爆炸，本文引入“活跃集”与回退到零基线的做法，可借鉴到其他基于二进制奖励（如点击/不点击）的批内加权方案中，防止数值不稳定。
- 防止策略坍塌的简单手段：实验表明，更准确的优势估计能避免单轨迹REINFORCE类算法在训练中后期性能急剧下降的问题，对于希望用单轨迹RL高效微调推荐策略的实践者，引入批内信息共享可能是一种低开销的防坍塌方案。
基于最优系数校准的强化学习联合多Token预测
🧭 训练优化·多Token预测联合RL ★ 深度解读
中国科学院大学 · 中国科学院自动化研究所 · 美团
提出在线自适应系数调整方法OCC，通过log概率代理动态平衡RL与MTP梯度，使联合训练稳定超越detach基线
📌 工作参考价值（4 点）
- 辅助损失动态加权：在推荐模型联合训练主任务（如CTR）与辅助任务（如多样性、长尾覆盖）时，可借鉴OCC的廉价梯度对齐代理，在线校准辅助任务系数，避免固定权重导致的后期性能退化。
- 多步奖励预测的RL优化：在强化学习推荐或Agent策略优化中，若使用多步奖励预测头（类似MTP），可利用OCC思想根据梯度方向一致性自适应调节多步预测损失的权重，防止后期扰动损害主策略。
- 多目标策略梯度平衡：对于多Agent协作或联合策略学习，不同智能体的梯度可能存在冲突，可通过一阶相关与二阶扰动的分解分析有益与有害信号，动态分配更新强度，替代常规的固定比例调度。
- 轻量级实现：OCC仅需计算小批量内的log概率变化向量内积，无需全模型梯度，计算开销可忽略，易于在分布式训练框架中实现。
裁剪瓶颈：通过随机救援近边界信号稳定RLVR
🧭 RLVR 训练稳定性优化 · 裁剪决策 ★ 深度解读
Alibaba Group · Peking University · Dartmouth College · University of Toronto
诊断硬裁剪决策是GRPO-style RLVR不稳定的关键瓶颈，提出随机救援边界信号的方法NSR，显著提升训练稳定性与性能。
📌 工作参考价值（4 点）
- 诊断方法可迁移：通过解耦裁剪决策与梯度大小，精确定位训练瓶颈，适用于电商/Agent场景中基于PPO/GRPO的微调稳定性分析。
- NSR实现简单：仅需在裁剪计算时对出界token按距离做一次随机保留判断，可直接嵌入现有DAPO/GSPO代码，无额外超参负担，适合快速实验验证。
- 随机救援优于确定性衰减：业务中若需软化信任区域，优先使用概率化保留而非固定权重衰减，能获得更稳定训练与更低方差。
- 支持token级与序列级裁剪：NSR在两种粒度上均有效，可复用于推荐对话生成或策略优化中的不同动作空间。
强化偏好优化用于推理增强推荐
🧭 生成式推荐 · 推理增强 ★ 深度解读
City University of Hong Kong · Kuaishou Technology
解耦LLM推理与推荐head，用GRPO+可验证奖励优化CoT质量，实现检索精度与推理可解释性双提升
📌 工作参考价值（4 点）
- 推理与检索解耦：采用LLM生成文本级CoT，专用Rechead做item检索，避免直接微调LLM隐藏状态破坏推理能力，适合工业推荐中LLM作为上游理解模块，下游用已有高精度检索模型承接。
- 轻量级推理融合头：Rechead用小型句子编码器+Transformer+软门控嵌入CoT，可过滤噪声，可作为排序模型的辅助特征；在线上部署时，只需将LLM生成的CoT/Answer转成稠密向量注入排序模型，已获得1.348%收入提升。
- RL多目标奖励设计：格式、NDCG、CoT语义一致性、压缩率、熵差组合奖励驱动GRPO，可借鉴到对话式推荐或Agent推理链优化，尤其熵奖励能促进生成高信息密度token。
- 两阶段迭代训练：先冻结LLM训Rechead，再冻结Rechead用RL调LLM，避免非平稳奖励，适合业务上微调LLM时已有稳定评分器（如精排模型）的场景。
LamPO：一种 Lambda 风格的推理语言模型策略优化
🧭 推理语言模型 · RLHF/RLVR 优化 ★ 深度解读
Pinterest · Facebook · University of Michigan - Ann Arbor · Mississippi State University · Carnegie Mellon University
用成对分解优势替代标量组优势，保留组内排序关系，提升RLVR样本效率与稳定性
📌 工作参考价值（4 点）
- 如果在训练对话/生成式推荐策略时使用 GRPO 等组相对训练，可借鉴成对优势分解：将组内每个样本与所有其他样本的奖励差用策略 log 概率差加权求和，保留细粒度排序信息，改善信用分配。
- 置信度权重 σ(Δs/τ) 简单实用：直接使用策略自身对样本对的偏好程度调节学习强度，可扩展到其他需要组内比较的场景。
- 对于有参考答案/轨迹的 RL 训练，可加入基于 ROUGE-L 的稠密辅助奖励，缓解稀疏正确性奖励下的学习困难，微小代价换取样本效率提升。
- 训练稳定性提升在小型模型的实验中表现明显，对资源受限下的快速迭代有帮助。
SCRL：子问题课程强化学习实现LLM推理细粒度信用分配
🧭 课程RL · 子问题分解与信用分配 ★ 深度解读
LeapLab, Tsinghua University · Qiuzhen College, Tsinghua University
通过可验证子问题构建难度课程，结合子问题级归一化把部分推理进展转化为细粒度学习信号，显著提升困难数学题的RL训练效率
📌 工作参考价值（4 点）
- 多步推理任务的训练范式：当业务问题可分解为可独立验证的子步骤（如电商长链决策、多轮Agent交互），可借鉴子问题课程+进度感知奖励校正，将稀疏最终奖励转化为密集的中间信号，避免梯度死区。
- 细粒度信用分配：子问题级归一化在每个子步骤位置独立计算优势，再映射到回答 span 的 token，无需额外奖励模型或过程标注。可直接用于多步推荐对话或规划模型，为每个中间决策分配细粒度学习信号。
- 混合训练保持分布一致性：采用一半课程 rollout、一半原始 rollout 的混合训练，防止 prompt 不匹配，保证模型在推理时能处理原始问题，适合在线 on-policy 训练场景。
- 降低生成器依赖：实验表明即使使用较弱模型生成子问题，SCRR 依然有效，仅需有参考解即可分解，不要求完美构造，工程实现成本低。
DelTA：通过判别性Token信用分配提升可验证奖励的强化学习
🧭 强化学习训练优化 · Token级信用分配 ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China · Ant International
将RLVR更新视为隐式线性判别器，通过重加权token梯度向量增强正负侧质心的区分度，提升数学推理等任务表现。
📌 工作参考价值（4 点）
- 将策略梯度更新解构为隐式判别器的方法可用于诊断线上RL模型训练中的token偏向问题，尤其适合电商推荐中奖励信号稀疏的长序列生成（如自动文案、对话）场景。
- 通过对比正负优势响应的token梯度质心并重加权token贡献，可以兼容大部分序列级RL目标（如GRPO、DAPO），工程实现可插入现有RLHF训练流程。
- 系数计算采用最后一层隐藏状态或输出行梯度代理，无需全参梯度，开销可控，适合大规模LLM训练的在线重加权。
- 在电商Agent的推理规划中，可借鉴基于判别性信号重新分配token信用，提升模型在长推理链上的一致性和正确率。
仅需极少量 RLVR 训练：通过秩-1 轨迹外推 LLM
🧭 RLVR 训练效率优化 · 参数轨迹外推
University of Virginia · Washington University in St. Louis
发现 RLVR 参数轨迹是低秩且线性的，提出 RELEX 只需 15% 训练步数即可外推高质量 checkpoint
📌 工作参考价值（4 点）
- 在线学习/RL 调优的早期停止：在电商推荐、Agent 策略的 RL 微调中，监控参数更新矩阵的秩，若观察到类似秩-1 结构，可大幅压缩训练步数，直接外推后续 checkpoint，节省算力。
- 低资源快速实验：仅需短窗口（如 15% 步数）和简单 SVD+线性回归，无需额外训练即可获得完整训练的近似模型，适合快速迭代验证想法。
- 模型合并与聚合中的去噪：秩-1 投影可滤除随机优化噪声，这一思想可迁移到联邦学习的参数聚合或多臂老虎机策略合并，提高鲁棒性。
- 长期性能预测：在无法完整训练的场景（如在线 A/B 测试需快速决策），用少量步数的参数变化线性外推长期趋势，提前终止劣化方向。
CEPO：基于对比证据策略优化的强化学习自蒸馏方法
🧭 强化学习验证奖励 · 对比证据信用分配 ★ 深度解读
MBZUAI · Linköping University · Australian National University
用正确与错误答案的对比信号锐化token级信用分配，保留安全保证并显著提升多模态数学推理
📌 工作参考价值（4 点）
- 在Agent多步决策或生成式推荐推理链中，可借鉴CEPO对比正确与错误示例，自动识别并放大关键决策token的梯度，抑制填充词干扰，提升训练效率和推理质量。
- 负参考直接从已采样的错误rollouts中提取答案，无需额外采样成本，适合在线RL训练，可直接迁移到电商对话Agent或推荐解释生成中的reward shaping。
- CEPO的stop-gradient和方向锚定设计避免了因引入特权信息（如最终答案）而导致的信息泄漏和训练崩溃，为在线自蒸馏提供安全的模板，适用于任何依赖最终正确标签的序列级强化学习场景。
- 超参数（λ线性衰减与ε_w裁剪）表现出强鲁棒性，且对比信号集中出现在关键推理步，可解释性强，有利于在业务中监控和调试信用分配质量。
GoLongRL：基于能力导向的长上下文强化学习与多任务对齐
🧭 长上下文RLVR多任务对齐训练
Kuaishou Technology · University of Chinese Academy of Sciences
提出能力导向的长上下文RLVR数据集和TMN-Reweight多任务优化，使30B模型长上下文性能比肩大模型
📌 工作参考价值（4 点）
- 能力导向的数据构建：按细粒度长文本能力（如推理、检索、多跳聚合）设计多类型任务和自然评估指标，可直接用于电商搜索或Agent长上下文数据构造，提升生成式推荐对长会话、产品文档的理解。
- TMN-Reweight多任务训练技巧：通过任务级均值归一化消除异构奖励尺度差异，再按难度自适应加权，可复用到多目标RL场景（如同时优化CTR、转化率、停留时长），避免某一目标主导优化。
- 开源数据与代码：23K长上下文RLVR样本及完整训练流程已开源，可直接作为基础数据集或框架，加速业务中基于GRPO的RLVR训练，节省数据设计成本。
- GRPO训练配置：验证了在长上下文RLVR中，更大的任务多样性和奖励差异性能显著提升效果；业务中若需RL训练，应避免单一任务结构，追求覆盖多种真实场景的能力类型。
POW3R：基于策略感知的动态评分标准奖励框架
🧭 RLVR · 动态奖励聚合 ★ 深度解读
Scale AI · Persona
提出POW3R框架，通过rollout对比自适应调整评分标准权重，将人类重要性与当前可学性解耦，提升GRPO训练效果与效率
📌 工作参考价值（4 点）
- 多目标奖励的动态权重分配：在电商推荐或Agent的多维度评估中（如准确性、多样性、响应速度），可借鉴POW3R，根据策略当前表现动态调整各维度在奖励中的压力，避免固定权重导致学习停滞在已饱和或无法达标的目标上。
- 信息量驱动的训练信号筛选：利用rollout级别的方差（或评分者间分歧）识别哪些评估项对当前策略最具区分力，将训练压力集中于此，其他项保留基线权重，这能提升早期训练效率和最终性能，类似推荐系统中对困难用户或长尾商品的强化学习倾斜。
- 保持类别质量平衡的归一化设计：POW3R在类别内重新分配权重但保持类别总质量不变，这种设计可复用至Agent的多能力维度（规划、工具使用、解答准确性）训练，避免某一能力因梯度占优而掩盖其他能力的发展。
- 评估与训练奖励解耦：静态的人类重要性权重保留作为最终评估目标，训练时则使用动态权重提供更丰富的梯度信号。这种拆解对生成式推荐中多语义ID的优化同样适用：静态的语义重要度不直接等同于RL训练时的有效信号，可分别设计评价和训练两套权重。
重新思考Muon：在VLA与RLVR中引入高通滤波解决频谱失效
🧭 训练优化器设计：高通频谱滤波
Michigan State University · Cisco · University of Minnesota · IBM Research
提出Pion优化器，用高通频谱滤波替代Muon的均匀白化，解决VLA低秩噪声放大和RLVR不稳定问题
📌 工作参考价值（4 点）
- 在电商推荐模型的RLHF/RLVR微调中，若使用类似Muon的优化器，需警惕低信噪比梯度导致崩溃，可改用Pion或保守选择AdamW。
- 多任务或多头推荐模型中，per-head独立更新（通过reshape实现）能保留不同商品类目或用户群体的头部特异性，避免均匀白化破坏已学的差异性。
- 在梯度噪声大、存在低秩组件的场景（如冷启动、稀疏特征），高通滤波思路可直接用于动量或梯度修正，抑制尾部方向噪声。
- 预训练有效的优化器（如Muon）在微调/RL阶段可能失效，需根据梯度频谱特性做适配，Pion为这种迁移提供了低成本替换方案。
策略引导探索：用轻量级提示提升RLVR探索效率
🧭 强化学习探索 · 策略级上下文 ★ 深度解读
KAIST · DeepAuto.ai
提出 NudgeRL，通过策略级上下文进行结构化探索，在仅 8 次采样下超 8 倍采样 GRPO
📌 工作参考价值（4 点）
- 低成本探索增强：使用轻量级 LLM（如 gpt-4o-mini）离线生成策略级关键词（如数学定理名），在训练时随机采样并拼入 prompt，即可大幅提升采样多样性。电商推荐场景可类比生成“商品类别/用户意图”等标签作为上下文，引导 Agent 探索不同推荐路径，无需昂贵 oracle 标注。
- 上下文控制优势估计：Inter-Intra Group Advantage 将奖励分解为组内与组间信号，λ 参数可调节探索-利用倾向（λ>1 倾向可靠上下文，λ<1 鼓励探索新上下文）。在 Agent 多策略协作中，可对不同的策略组分配不同 λ，动态平衡已知高转化策略与新策略尝试。
- 知识蒸馏回基础策略：通过优势加权蒸馏，将上下文条件下发现的有效轨迹迁移回原始无上下文的策略，使推理时无需外部提示。在多智能体系统中，可将智能体在辅助信号下学到的技能蒸馏至主策略，避免上线时的输入依赖。
- 采样效率提升的工程启示：论文证明结构化探索可以显著减少所需采样数（8 次 vs 32 次 GRPO），且 pdrop=0.5 随机丢弃上下文能保持稳定训练。在生成式推荐中，若用类似方式对候选生成过程注入多样性（如不同 decoding 技巧或 prompt 模板），可降低大规模采样的计算开销。
通过变分策略蒸馏从语言反馈中学习
🧭 LLM ★ 深度解读
Salesforce AI Research
将语言反馈学习形式化为变分EM，通过教师与学生的协进化蒸馏持续提升推理性能
从失败中学习：基于可验证奖励的修正导向策略优化
🧭 利用失败轨迹的修正训练增强 RLVR ★ 深度解读
Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Xiaohongshu Inc.
将 RLVR 中的失败轨迹转化为修正监督，无需额外信号，显著提升推理与自我纠错能力
📌 工作参考价值（4 点）
- 在构建对话推荐 Agent 时，可利用用户交互中的失败轨迹（如不满意回复）构造修正对，通过 RL 训练提升 Agent 自我纠错能力，而非简单抑制。
- 生成式推荐或代码生成 Agent 可借鉴难度感知偏好采样（Section 3.3），优先重放中等通过率的样本，避免在过难或过易问题上浪费计算。
- 自适应重放比率与风险厌恶奖励塑形（Section 3.2）可迁移到推荐策略 RL 训练中，动态平衡正确与错误轨迹，防止遗忘已学知识并抑制能力退化。
- 在线修正机制无需外部标注或奖励模型，适合电商 Agent 在无人工反馈的条件下持续优化多步规划与纠错能力。
通过随机少样本指导增强可验证奖励强化学习
🧭 LLM ★ 深度解读
University of Illinois Urbana-Champaign
提出 FEST 算法，仅用 128 个随机 SFT 演示，通过半在线 DPO 和衰减权重实现 RLVR 的显著提升
学习构建环境：通过可验证环境合成实现自我进化的推理强化学习
🧭 Reasoning ★ 深度解读
Tencent
提出EvoEnv，让语言模型自行构建可执行环境以提供稳定且随能力动态校准的奖励，将自改进从数据生成循环转为环境构建循环
全模态语言模型提升：视觉去偏评估下的分阶段后训练
🧭 全模态模型训练优化与视觉去偏评估
通过视觉去偏基准OmniClean与三阶段后训练，3B全模态模型无需强教师即可匹敌30B模型
📌 工作参考价值（4 点）
- 消除评估中的模态泄漏：在电商多模态搜索或推荐评估中，检查图像是否单独能给出答案（如商品图直接暴露属性），构建去偏测试集，避免模型走视觉捷径，暴露真实跨模态理解能力。
- 三阶段后训练策略复用：先做模态平衡的SFT打底，再用RLVR统一提升跨模态对齐，最后利用自蒸馏（self-distillation）精调，这套流程可复用到多模态Agent或生成式推荐模型的微调中，逐步压榨小模型性能。
- 小模型无强教师自蒸馏：用模型自身生成高质量的"全模态查询 + 响应"对进行监督学习，无需更大教师模型，适合资源受限的电商场景（如端侧多模态助手），可降低推理成本。
- 审计现有基准以指导训练：电商中常有多模态评测集（如商品图文问答），可以先做只输入图像的探测，识别并剔除可纯视觉求解的样本，使训练反馈更干净，优化方向更明确。