AI Papers Daily

#Best-of-N

4 篇

Learning Better Reasoning for Generative Recommendation with Semantic IDs

学习更好的语义 ID 生成式推荐推理

🧭 生成式推荐 · Semantic ID 推理优化 ★ 深度解读

Emory University · Microsoft · Cornell University

通过 Best-of-N 筛选高预测效用推理轨迹，并用排序感知 RL 持续优化生成式推荐推理

📌 工作参考价值（4 点）

• 在生成式推荐 SFT 阶段，不要直接使用教师模型生成的 CoT，而是对每个样本采样多条推理轨迹，计算其对 ground-truth item 的增量似然 Δ=log p(y*|h,z)-log p(y*|h)，只保留 Δ 最高且为正的轨迹。业务中可显著提升 top-1 和 NDCG，且成本可控（N=5 即可）。
• RL 阶段用 catalog 前缀树约束 beam search 生成合法 item ID 排序列表，奖励使用 NDCG@10 而非 exact match：NDCG 能区分“目标排在 rank 2 还是 rank 100”的推理质量，让策略学会把目标推到更靠前位置；GRPO 组内归一化在 16 条/样本的规模下稳定有效。
• SID 与语言对齐是推理的前置条件：混入 SID↔title 双向翻译、历史序列 narrative 以及通用推理语料，可防止 LLM 在推荐任务上丧失通用能力，并让 Semantic ID 获得语义/行为接地。
• 推理长度会随 RL 自动缩短，无需长度惩罚；有效的推荐推理是压缩到对排序最有用的信息，而非越长越好。这提示在业务中可以把“推理质量”定义为其带来的 ranking gain，而不是可读性。

GenRec | 2026-09-24 | cs.IR | score 9/10

Generative RecommendationSemantic IDsReasoningReinforcement LearningBest-of-NGRPO

REAR: Test-time Preference Realignment through Reward Decomposition

REAR：基于奖励分解的测试时偏好重对齐

🧭 测试时偏好对齐 · 奖励分解

Nanyang Technological University · University of California, Berkeley · Nanjing University

提出奖励分解方法 REAR，在测试时无需训练即可重对齐 LLM 至多样化用户偏好。

📌 工作参考价值（4 点）

• 测试时偏好干预：无需额外训练，适合广告文案生成、商品描述等需要快速适配不同风格偏好的场景。
• 奖励分解视角：将生成奖励分解为任务相关和偏好相关项，通过调整权重可细粒度控制输出属性（如多样性、长度、倾向）。
• 与解码策略集成：可无缝接入 Best-of-N、树搜索等测试时优化框架，实现高效可扩展的偏好引导。
• Agent 动态偏好适应：在对话或推荐 Agent 中，用户偏好变化时可通过调整 REAR 权重实时重对齐，无需重训模型。

LLM | 2026-06-29 | cs.CL | score 7/10

Test-time AlignmentReward DecompositionLLMPreference RealignmentBest-of-NTree Search

From Correctness to Utility: Gain-Based Prefix Evaluation for LLM Reasoning

从正确性到效用：基于增益的LLM推理前缀评估

🧭 过程监督 · 前缀效用评估 · 数学推理 ★ 深度解读

Fudan University · Shanghai Innovation Institute

用轻量级学生模型群估计前缀对求解率的边际增益，训练前缀效用模型，在Best-of-N、束搜索和RL中均有效提升推理性能。

📌 工作参考价值（4 点）

• 用轻量模型群估计前缀效用：无需人工标注步骤正确性，通过对比有/无前缀时多个小模型的解题率变化得到增益，再转为偏好对训练评估模型。电商场景中，对用户行为序列的部分轨迹（例如浏览前缀）评估能否提高最终转化率，类似地可采用轻量模型群采样转化率增益来构建排序信号。
• 增益偏好对构建训练数据：将前缀效用差转为 pairwise 偏好，使用 Bradley-Terry 损失训练标量评估头，过滤掉高噪声对比对。在生成式推荐中，评估生成物品序列的中间状态效用时，可用同样方法从偏好对中学习价值模型，避免直接回归噪声大的转化率。
• 提供过程级监督缓解RL稀疏奖励：将前缀效用差作为过程优势（dense advantage），与稀疏的最终答案奖励结合，稳定RL训练且防止reward hacking。Agent 行为决策中，可对子任务完成度建立类似的增益模型，提供中间奖励以加速策略学习。
• 弱到强泛化：方法训练出的前缀效用模型能迁移到更强的策略模型，且支持按下游模型能力调整学生模型权重。这意味着在业务中，可用低成本小模型群构建评估信号，再去指导更强大的生产模型的行为搜索或生成。

Reasoning | 2026-06-05 | cs.CL | score 8/10

Prefix EvaluationProcess SupervisionGain-based UtilityMathematical ReasoningBest-of-NReinforcement Learning

Process Rewards with Learned Reliability

带有学习可靠性的过程奖励模型

🧭 过程奖励可靠性建模与自适应推理

Washington University in St. Louis · Singapore University of Technology and Design

BetaPRM 预测步骤正确概率和该预测的可靠性，并利用可靠性信号实现自适应计算分配，减少推理 token 消耗

📌 工作参考价值（4 点）

• 在 Agent 多步决策中，使用 Beta 分布建模每步奖励的可靠性，避免单点奖励误导决策，增强动作选择的可信度。
• 对于生成式推荐候选集选择的 Best-of-N 推理，可借鉴自适应计算分配（ACA）：根据可靠性提前终止高置信候选，将计算资源集中到不确定的候选上，显著减少 LLM 调用成本。
• 训练 PRM 时，不再回归有限样本成功率，而是采用 Beta-Binomial 似然直接学习 Beta 信念，输出不确定性，这对排名、过滤等下游任务更友好。
• 在需要对中间结果（如 query 重写、解释生成）打分的系统中，可引入可靠性阈值控制，避免过早丢弃潜在正确但暂时评分偏低的步骤。

Training | 2026-05-14 | HF Daily | score 7/10

PRMReasoningUncertaintyBest-of-NToken ReductionBeta-Binomial