#verifier

4 篇

Terminal-RSI: Recursive Self-Improving Terminal Agents via Recursive Self-Rewrite and Policy-Refine

Terminal-RSI：通过递归自改写与策略精炼实现终端智能体递归自改进

🧭 终端 Agent 递归自改进强化学习

Tencent Hy Frontier · National University of Singapore · University of Maryland, College Park · University of Georgia · Indiana University

用递归自改写与策略精炼交替训练，把终端 Agent 验证反馈转成策略提升

📌 工作参考价值（4 点）

可借鉴「验证轨迹重写 + 策略精炼」的交替训练范式：用业务中的 reward/verifier 信号找出成功或部分成功轨迹，先重写成更优示范再做策略更新，适合电商 Agent 的任务完成型 RL。
TB-GAE 对多轮交互做 token 级信用分配时保留衰减：在搜索/推荐 Agent 的多轮对话 RL 中，可按 turn 边界做 skip-observation GAE，避免跨 turn 的 token baseline 偏移。
FDR 与 SPR 的奖励设计适合业务落地：按任务族做 dense progress reward 校准，同时把严格成功与有界部分奖励解耦，可减少 reward hacking 并稳定训练。
Warm-up Critic 与 stage-specific LR 可迁移到多阶段 RLHF/RLAIF：先预热 critic 再更新 policy，且不同阶段用不同学习率，能提升生成式推荐的训练稳定性。

Agent | 2026-10-14 | HF Daily | score 7/10

训练 Nemotron 攻克 IMO 金牌的开源配方

🧭 数学证明生成 · 测试时搜索与RL ★ 深度解读

NVIDIA

开源三 checkpoint 生成-验证-精炼管线在 IMO 2026 达 30/42 金牌线，并发布后训练与推理全栈

📌 工作参考价值（4 点）

多模型/多后训练 checkpoint 的异构集成比单模型增加采样次数更有效：在生成商品标题、搜索 query 或 Agent 动作方案时，同等 token 预算下分配多个互补模型生成候选，比单模型重复采样更容易覆盖不同解空间，类似推荐中的 ensemble diversity。
把「搜索期验证」与「最终选择」解耦：搜索期验证需要低假接受和可操作的反馈，最终选择需要更贴近真实奖励的昂贵评分器；对应粗排/精排/重排的分离，且最终重排可投入更多算力，不必复用搜索期评分。
验证器错误代价不对称：假接受导致搜索提前终止且不可恢复，假拒绝只增加时间和成本；在业务 pipeline 中若线上错误代价高，应设计保守阈值，并允许延迟恢复。
保留候选池和跨轮精炼：搜索中不直接丢弃高分但未过验证的候选，下一轮继续精炼；适合电商/Agent 中长尾候选，避免 aggressive triage 淘汰后期有价值方案。此外记录 token/GPU 小时资源核算有助于生产部署预算规划。

Reasoning | 2026-09-08 | HF Daily | score 8/10

FlowBalance：验证器校准的轨迹平衡自改进

🧭 LLM 自改进训练 · 轨迹平衡

Tencent HY LLM Frontier · University of Pennsylvania

用 verifier 校准 on-policy 自引导分数，并通过轨迹平衡训练稳定的推理自改进

📌 工作参考价值（4 点）

在生成式推荐/QueryRec 的 LLM 后训练中，若已有 outcome verifier（如点击、转化、相关性），可借鉴 group advantage 校准 self-guidance 符号：正优势保留密集信号、负优势反转、无偏好时禁用，避免 dense same-model 信号强化伪自信。
轨迹平衡替代逐 token 模仿 loss，对长文本生成（推荐理由、搜索词扩展、商品文案）训练更稳定，能缓解长度坍塌和模式集中，适合带 terminal reward 的离线增强场景。
冻结策略视图产生自引导分数的方法，可在 RLHF/DPO 管线上低成本复用，减少额外 critic 或 token 级标注需求；若业务能定义可靠 verifier，可让 LLM 在搜索推荐 Agent 的推理链路上保持策略多样性。
无明确 outcome verifier 或奖励稀疏的业务场景，方法借鉴价值有限，主要适用于可自动判定的任务（如数学、代码、结构化查询生成）。

Training | 2026-09-02 | HF Daily | score 7/10

重采样还是重路由？LLM测试时模型选择的预算分配策略

🧭 测试时模型选择与预算分配

提出在线策略 RoR，在单查询成本预算下动态分配重采样与重路由，最大化正确性。

📌 工作参考价值（4 点）

电商搜索/推荐场景中若调用多尺寸 LLM，可借鉴 RoR 动态分配预算：对简单查询用廉价模型多次采样求一致，对困难查询路由到强模型，避免固定级联或 Best-of-K 的浪费。
使用边际正确性增益估计驱动在线决策，比静态规则更能适应查询难度分布的变化，适合后台异步或实时生成广告文案、商品摘要等场景。
验证器质量是关键：文中用一致性投票或弱验证器仍有效，提示我们可以用业务指标（点击率、转化率）离线训练轻量级验证器来指导在线分配，但验证器退化时收益消失，需持续监控。
工程上可利用已有模型池和多路采样，实现一个 meta-controller 层，对每条请求在重采样次数与路由目标间做动态决策，提升整体成本-质量帕累托前沿。

LLM | 2026-07-09 | cs.LG | score 6/10