#PRM

5 篇

Unlocking Token Rewards via Training-Free Reward Attribution

P2T：免训练将过程奖励分解为 Token 级奖励

🧭 RL 奖励归因 · Token-level reward ★ 深度解读

Chinese University of Hong Kong · Hong Kong University of Science and Technology · University of Hong Kong

提出训练免费的 token 级奖励归因方法，用梯度一阶泰勒近似从 PRM 分解过程奖励，加速 RL 训练并提升推理表现

📌 工作参考价值（4 点）

若业务中已有可微分的奖励模型（如用户满意度预测、转化模型、Critic、视觉质量模型），可直接用其梯度对生成序列做 token/action 级归因，无需训练新 reward model；公式简单：token influence ≈ ∇_{e_i} R(E)·(e_i - e_null)，一个 backward pass 拿到全序列。
将粗粒度奖励作为 baseline 再叠加归一化影响权重，而非直接用影响分数作为奖励，能显著降低梯度噪声；η 从 0.25 到 1.0 都稳，业务上无需精细调参。选择 null token 用模型 padding token 比 EOS/zero embedding 更稳。
训练 Agent/生成式推荐策略时，如果只有最终 outcome label（点击/转化/任务成功），可接入现成 PRM 或可微分 reward model，用 P2T 方式分解到每个 action/token，加速 RL 收敛；论文显示达到同等效果可少 3-4 倍训练步数。
注意 PRM 质量决定上限；若 PRM 在目标域不可靠，收益有限，应先验证 PRM 在该域判断准确，且 α 可从小增大。

Training | 2026-10-13 | cs.AI | score 8/10

TIPS：仅用结果监督RL训练生成式过程奖励模型

🧭 生成式PRM训练 · 结果监督RL ★ 深度解读

Renmin University of China · Tsinghua University · University of Electronic Science and Technology of China · Shanghai Jiao Tong University

TIPS仅用3.2K结果标签轨迹，经GRPO强化验证思维链，ProcessBench F1达85.2，超过更大PRM与强判官

📌 工作参考价值（4 点）

在需要过程诊断/归因的 Agent 链路（如导购多轮对话、多工具调用、query 改写规划）中，可用该框架训练一个生成式 step judge：让模型输出 CoT + 逐步有效标签 + final label，reward 只看 final label 是否正确，用 GRPO 优化整个序列；推理时直接取 step_labels 作为过程分，省去人工逐步标注。
优先选有思维链先验的 thinking 模型或 reasoning-distilled 模型做基座。论文中 Qwen3-4B-Thinking 比 Instruct 多涨 7.5 F1；弱基座容易走“只看最终结论”的 shortcut，逐步判断先升后降，因此可用 ORM 准确率平台期 + 回复长度下降作为早停信号。
对电商推荐/搜索场景，可把该方法用于推荐解释或排序理由的逐句正确性判断，以及 query 规划、工具调用链路的错误步骤定位；但要优先选择步骤正确性直接决定最终结果的 task（SQL 生成、API 参数校验、数值/规则链路），因为业务最终反馈如点击/转化与单步正确性耦合较弱时收益会显著变小。
训练成本极低：仅需 3.2K 条 outcome-labeled 轨迹即可在 8×A800 上单 epoch 完成，适合为长尾场景快速冷启动一个内部 judge。

Training | 2026-09-28 | HF Daily | score 8/10

面向 Web Agent 的判别式世界模型

🧭 Web Agent 世界模型判别式训练

University of California, Berkeley · MIT-IBM Watson AI Lab · Cal Poly San Luis Obispo · Xero

用预测状态匹配训练世界模型，使预测表示能区分不同动作结果，提升 PRM 动作排序与端到端任务成功率

📌 工作参考价值（4 点）

训练状态模拟器时对齐下游排序目标：不要只做 next-state 重建，应加入判别式目标，使预测状态可区分不同动作的后果。在电商/搜索的 agent 场景中，若用世界模型模拟用户点击或意图变化，可改用 contrastive 或 ranking loss 训练，以辅助后续动作打分。
构建分支式决策数据集：从真实交互轨迹中记录每个决策点的候选动作及各自后续状态，用于训练判别式世界模型。可借鉴到搜索推荐 agent，通过离线用户日志构造“动作-结果”对比样本，避免昂贵在线探索。
PRM/ranker 增强：将世界模型预测的状态表示拼接到 PRM 输入，能比仅用动作特征提升动作排名。在做推荐 agent 的多步决策时，可设计类似的 process reward 模型，用预测用户状态辅助评估候选推荐或 query。
测试时采用“候选生成 + 预测状态 + 打分”的 pipeline，可提高端到端成功率。在电商 agent 中可对候选商品或 query 做模拟排序，减少试错。

Agent | 2026-09-02 | cs.LG | score 7/10

带有学习可靠性的过程奖励模型

🧭 过程奖励可靠性建模与自适应推理

Washington University in St. Louis · Singapore University of Technology and Design

BetaPRM 预测步骤正确概率和该预测的可靠性，并利用可靠性信号实现自适应计算分配，减少推理 token 消耗

📌 工作参考价值（4 点）

在 Agent 多步决策中，使用 Beta 分布建模每步奖励的可靠性，避免单点奖励误导决策，增强动作选择的可信度。
对于生成式推荐候选集选择的 Best-of-N 推理，可借鉴自适应计算分配（ACA）：根据可靠性提前终止高置信候选，将计算资源集中到不确定的候选上，显著减少 LLM 调用成本。
训练 PRM 时，不再回归有限样本成功率，而是采用 Beta-Binomial 似然直接学习 Beta 信念，输出不确定性，这对排名、过滤等下游任务更友好。
在需要对中间结果（如 query 重写、解释生成）打分的系统中，可引入可靠性阈值控制，避免过早丢弃潜在正确但暂时评分偏低的步骤。

Training | 2026-05-14 | HF Daily | score 7/10

无监督过程奖励模型

🧭 PRM训练 · 无监督学习

Swiss Federal Institute of Technology (EPFL)

提出无需人工标注的无监督PRM，通过LLM next-token概率联合定位第一步错误步骤

📌 工作参考价值（4 点）

无监督奖励塑形：借鉴基于LLM自身token概率的评分函数，在Agent多步交互或推荐多轮对话中，无需人工标注即可识别错误步骤，用于重试或矫正策略。
批次内对比定位：利用同一批次多个轨迹的相似性联合评估第一步错误位置，可迁移到电商搜索多意图理解或生成式推荐的HIT预估，通过对比候选序列一致性定位偏差。
强化学习稳健训练：uPRM作为reward信号比有监督PRM更稳健，适合推荐策略在线优化时，避免过拟合人工偏好，直接利用模型自身不确定性进行探索。
测试时验证器：uPRM作为验证器可提升多数投票基线（+6.9%），在推理链较长的生成式推荐（如Semantic ID生成）中可用于beam search重新排序。

Training | 2026-05-10 | HF Daily | score 7/10