VerifierBench：评测LLM Agent可执行验证器生成的基准
🧭 Agent 验证器生成评测与审计
University of Pennsylvania · University of Illinois at Urbana-Champaign · University of California, Berkeley · New York University · University of Rochester
构建VerifierBench与V4V审计，揭示LLM生成的验证器普遍过严，多数假拒源于不接受任何有效解
📌 工作参考价值（4 点）
- 在自生式训练数据过滤或 RL reward 场景下，别只看“拒绝无效样本”的准确率：VerifierBench 显示模型很容易生成过严验证器，看似强实则大量误拒有效解。上线前应显式统计 balanced accuracy，并专门补充 alternative valid solutions 来暴露假拒绝。
- 生成可执行验证器时，自测集不能只用与生成器同分布的负样本/正样本；要加入格式变体、工具调用顺序变体、等价代码改动等，因为案例表明验证器常写入无关的格式、工具或代码假设。
- 可借鉴 V4V 的六项审计思想：在 pipeline 中对验证器自动做 checklist——是否至少有一个已知正确解通过？是否对多个允许解不误拒？是否只依据任务指令而非隐含假设？
- 如果把 LLM 当作文本/策略评判器（例如筛选广告文案、推荐理由），需注意“拒绝负例强、接受正例弱”可能反映模型保守；可通过阈值校准或多验证器投票降低过度严格带来的数据丢弃风险。
Terminal-RSI：通过递归自改写与策略精炼实现终端智能体递归自改进
🧭 终端 Agent 递归自改进强化学习
Tencent Hy Frontier · National University of Singapore · University of Maryland, College Park · University of Georgia · Indiana University
用递归自改写与策略精炼交替训练，把终端 Agent 验证反馈转成策略提升
📌 工作参考价值（4 点）
- 可借鉴「验证轨迹重写 + 策略精炼」的交替训练范式：用业务中的 reward/verifier 信号找出成功或部分成功轨迹，先重写成更优示范再做策略更新，适合电商 Agent 的任务完成型 RL。
- TB-GAE 对多轮交互做 token 级信用分配时保留衰减：在搜索/推荐 Agent 的多轮对话 RL 中，可按 turn 边界做 skip-observation GAE，避免跨 turn 的 token baseline 偏移。
- FDR 与 SPR 的奖励设计适合业务落地：按任务族做 dense progress reward 校准，同时把严格成功与有界部分奖励解耦，可减少 reward hacking 并稳定训练。
- Warm-up Critic 与 stage-specific LR 可迁移到多阶段 RLHF/RLAIF：先预热 critic 再更新 policy，且不同阶段用不同学习率，能提升生成式推荐的训练稳定性。
RoboRSI：复杂真实环境中稳定高效可复用的机器人自我进化
🧭 多智能体机器人技能自进化
通过Top-Down Skill Refinement将任务分解为分层技能，多智能体协作实现机器人技能自我进化与复用
📌 工作参考价值（4 点）
- 任务分层与责任归属：将复杂 Agent 工作流分解为 compound/atomic/base 技能，并明确定义输入-输出契约，每个失败可定位到具体技能分支，避免全局重写。电商 Agent 中可将“选品策略”“生成文案”“出价”等拆为独立技能，定位问题更精准。
- 验证后发布（Reviewer gate）：新技能或修复必须经过执行证据验证才能进入可复用库，防止低质量更新污染系统。推荐系统中策略更新可比照设置回归验证关卡。
- 稳定序列固化为 compound skill：频繁出现的成功技能序列可封装为高级技能，减少后续规划 token 和推理时间。例如广告投放中“查询库存→生成标题→选目标人群”可固化为复合技能，降低 LLM 调用成本。
- 人在环（objectives and corrections）：用户只提供目标和纠正，不参与细节，多智能体自主规划、执行、诊断。电商 Agent 可让运营设定目标（如提升 GMV）和纠正，系统自主迭代。
智能体可塑性：度量基于经验的自我改进效率
🧭 Agent 自改进评估 · plasticity ★ 深度解读
UC Berkeley · Meta Superintelligence Labs · University of Washington · Princeton University
提出 agent plasticity 指标，度量智能体将经验转化为留出性能增益的效率，并诊断改进瓶颈
📌 工作参考价值（4 点）
- 自改进 Agent 或线上学习链路不要只看最终指标；用「留出收益 / 累计学习成本」画 plasticity 曲线，能区分起点高但不会学和起点低但学习效率高的模型/策略。电商 Agent 迭代 prompt、tool、memory 时可按此评估 ROI。
- 把改进过程拆成持久化 artifact：tools / skills / memory，每个新 session 从 fresh context 开始并继承 artifact。这样可以隔离「记忆/工具沉淀」的贡献，适合做 A/B 或消融；对应搜索推荐 Agent 的 query 改写工具、规则库、用户画像缓存。
- 失败诊断用 F_absent / F_missed / F_used 分类：低复用率提示检索/部署问题，高复用但仍失败提示 artifact 质量/泛化/应用问题。上线前可对 Agent 失败 case 打标，选择不同干预，例如 RAG 召回优化 vs skill 重写。
- 评估 OOD 转移：除同分布 held-out 外，加入更难或更极端的流量层，如更强对手、长尾 query、大促场景，观测自我改进是否真正泛化，避免只在训练样本上打转。
FlowBalance：验证器校准的轨迹平衡自改进
🧭 LLM 自改进训练 · 轨迹平衡
Tencent HY LLM Frontier · University of Pennsylvania
用 verifier 校准 on-policy 自引导分数，并通过轨迹平衡训练稳定的推理自改进
📌 工作参考价值（4 点）
- 在生成式推荐/QueryRec 的 LLM 后训练中，若已有 outcome verifier（如点击、转化、相关性），可借鉴 group advantage 校准 self-guidance 符号：正优势保留密集信号、负优势反转、无偏好时禁用，避免 dense same-model 信号强化伪自信。
- 轨迹平衡替代逐 token 模仿 loss，对长文本生成（推荐理由、搜索词扩展、商品文案）训练更稳定，能缓解长度坍塌和模式集中，适合带 terminal reward 的离线增强场景。
- 冻结策略视图产生自引导分数的方法，可在 RLHF/DPO 管线上低成本复用，减少额外 critic 或 token 级标注需求；若业务能定义可靠 verifier，可让 LLM 在搜索推荐 Agent 的推理链路上保持策略多样性。
- 无明确 outcome verifier 或奖励稀疏的业务场景，方法借鉴价值有限，主要适用于可自动判定的任务（如数学、代码、结构化查询生成）。
PILOT：长程智能体实时自我改进
🧭 Agent 多智体协作与实时自改进
AllSpark Team
提出 supervisor-worker 架构，通过 live steering 与 live self-evolution 实现长程智能体实时自我改进，显著提升成功率与 token 效率
📌 工作参考价值（4 点）
- 将执行与监督分离（supervisor-worker），主 agent 实时 redirect/abort 子 agent，避免单一上下文注意力分散；在电商 Agent 工作流（自动选品、广告投放、客服）中可引入独立监督者角色，及时纠正长流程偏差。
- live self-evolution 将运行中暴露的失败模式蒸馏成可复用 skills/memory，形成经验沉淀；推荐系统中可将 bad case / 成功策略实时固化到知识库或 prompt 中，降低重复错误。
- 论文观察到输出 token 大幅下降（最多 47.4%），成功评估效率提升 110%+，说明 supervisor 及时中止无望执行可显著降低推理成本；线上 LLM Agent 可设置 abort 条件，提升 ROI。
- 方法基于 frozen backbone，无需修改模型权重，适合工程直接复用；可将 PILOT harness 抽象成通用 Agent 编排层，用于搜索推荐场景中的多步 reasoning / 工具调用。
幻影增益：用实测零假设审计模型自提升
🧭 LLM 自提升评估审计
University College Dublin · Georgia Institute of Technology · Dalian University of Technology
审计 Qwen3-8B 的 LoRA 自训练，发现 7 类测量失效会反转结论，需为每个统计量单独测量零假设
📌 工作参考价值（4 点）
- 在电商/推荐模型迭代中，从只看平均 AUC/转化率转向 query/item 级别的“得与失”时，必须先建立实测零假设：同管线推一个 frozen control，否则推理 batching、贪心解码等工程差异会制造伪提升。
- 对外部蒸馏、自训练等“提升长尾/困难场景”的宣称要小心：需要用回归检验整体增益是否掩盖不对称性，避免把大增益的副产品误判为针对长尾的能力获取。
- 如果业务中做 LLM 自训练（如从用户反馈或生成数据中蒸馏），保留 baseline replicates 并用精确检验 + FDR 控制，能零成本识别伪获取；不要用单一 greedy decode 或扩展统计直接下结论。
- 工程实现中固定推理 batch 或记录 batch 配置，否则不同 batch 会让未训练模型出现虚假能力变化，干扰离线评估。
Macaron-V1：通过自改进与混合 LoRA 实现开放持续学习
🧭 Agent 持续学习与适配器组合 ★ 深度解读
Mind Lab
提出冻结基座 + 可组合 LoRA 专家的 MoL 架构与递归自改进循环，实现代理模型部署后持续适应与协作
📌 工作参考价值（4 点）
- 多域任务路由架构：将不同业务域（如对话、推荐、搜索）建模为独立 LoRA 适配器，冻结共享基座，通过 Proxy 按请求路由，避免任务干扰且支持独立更新，类似推荐系统中多目标 MoE 的路由分离。
- 版本化 harness 协议：HCP 将 prompt、工具、技能、环境等配置统一为 TOML 工件，可作为推荐 Agent 中工具与指令的线上可 audit 配置层，便于 A/B 测试和回滚。
- 长上下文执行与 KV 复用：通过可拼接的 own-view 实现跨适配器 prefix cache 命中，值得在多轮会话、长用户行为序列的 LLM 推理中借鉴，降低延迟。
- 递归自改进循环：从生产日志挖掘失败任务 → harness 配置搜索 → LoRA 更新，可复用至搜索推荐 Agent 的持续优化，逐步扩展能力边界。
MANTA：多智能体通信拓扑的自适应演化框架
🧭 多智能体协作拓扑在线自适应 ★ 深度解读
Cornell University · University of Illinois Urbana-Champaign · Academia Sinica
提出推理时拓扑自进化框架，根据任务和过程信号动态调整多智能体协作结构，在五个基准上平均得分74.0，超越最强基线5.8个百分点
📌 工作参考价值（4 点）
- 动态协作拓扑用于多agent推荐/搜索系统：在电商搜索或推荐中，多agent系统可分别负责意图解析、召回、精排、风控、冷启动等职责。借鉴MANTA，根据任务复杂度（如查询是否为长尾、是否含歧义）动态调整agent间的通信模式（星型、链式、辩论型），当检测到协作异常（如召回不足、过早收敛、多agent重复修改状态）时自动插入验证agent或重连通信边，提升最终推荐质量。
- 过程信号驱动拓扑修复，避免固定工作流：不需要预定义死板的工作流，而是通过trace auditing实时捕获过程异常（如工具调用失败级联、证据丢失、决策置信度不足），触发≤3个操作的拓扑变异（增加验证者、重组为链式、改写可见性），这些修复可被工程化实现为检查点与策略函数，适合嵌入现有的Agent框架。
- 跨任务拓扑经验积累（long-term playbook）：每次运行的拓扑决策、维修操作和效果可提炼为通用原则，指导新任务初始化，实现类记忆的迁移。在电商场景下，可将历史活动（双11vs平销）的协作经验复用以提升新任务效率，无需新成本搜索。
- 低token开销的智能协调：MANTA仅用约12%的推理计算做协调，却获得显著收益。这对线上服务延迟敏感的系统有益，可避免所有agent全量交流，按需触发验证或辩论，控制成本和响应时间。
从 RLVR 到 RLSVR：通过任务变换为开放领域 LLM 引入自验证奖励
🧭 LLM 自我改进 · 自验证奖励 · 多智体博弈 ★ 深度解读
Duke University · Adobe Inc. · Oregon State University · Pennsylvania State University · Amazon
借用自监督学习的任务变换思想，将开放任务重构为基于信息不对称的自我博弈游戏，自动产生可验证训练奖励
📌 工作参考价值（4 点）
- 对缺少可靠奖励的生成式任务（如文案生成、对话推荐、创意内容），可通过设计信息不对称的多智能体游戏来生成监督信号，避免依赖外部奖励模型或人工评判。
- 交替优化策略：轮流更新“表演者”与“检测者”，防止策略停滞与奖励崩溃，可在自对弈场景中保持持续改进压力。
- 角色优势估计（RAE）：当不同角色面临不对称难度时，通过减去角色专项基线来校准优势，避免因角色固有偏差损伤策略，可迁移到有角色差异的合作/博弈训练中。
- 分组投票机制：多玩家集体决策比单一评判更鲁棒，可以借鉴到多模型投票评估或集成式的自监督反馈系统中。
通过人类反馈增强LLM：迈向自我改进之路
🧭 人类反馈驱动的RAG自我改进
Intel Corporation
用辅助RAG系统收集并整合详细人工反馈，驱动主RAG回答的自我优化
📌 工作参考价值（4 点）
- 在推荐或问答系统中，收集用户明确纠正的文本反馈（如“我要的不是XX，而是YY”），比隐式二元信号更能精准定位检索和生成缺陷
- 可构建一个轻量的辅助RAG模块，专门处理用户反馈，动态修正知识库的检索权重或生成策略，而无需频繁重训大模型
- 引入人类在环的持续反馈循环，将新反馈逐步纳入实时推理，适合线上快速迭代的电商搜索或客服场景
- 利用LLM-as-a-Judge自动化评估反馈对系统改进的效果，降低人工评估成本，适合快速实验和上线
双向进化搜索：让语言模型突破分布边界自我改进
🧭 双向进化搜索 · 自改进采样 ★ 深度解读
Harvard University · MIT
提出双向进化搜索框架，用进化算子突破模型候选分布局限，通过后向目标分解提供密集反馈
📌 工作参考价值（4 点）
- 进化算子重组轨迹，逃离模型概率高熵壳：在前向搜索中引入组合、转位、删除、交叉四种算子，将不同候选的部分轨迹拼接/编辑，生成单次自回归不易产生的多样化样本。电商 Agent 的复杂多步推理中，可借鉴这种思路从已有交互日志中合成新候选，提升长尾问题覆盖率。
- 后向目标分解提供密集验证信号：通过递归拆解任务为可检查子目标（例如多跳 QA 可分成“检索第一跳事实”“验证中间结论”等），为部分完成的轨迹输出细粒度得分。可用在电商多轮对话或 Tool-use Agent 的中间步骤评分，避免稀疏奖励导致训练不稳定。
- 即插即用的采样替代方案：BES 可替换任何 RL 后训练（如 GRPO）中的 i.i.d. 采样阶段，为困难任务发现高奖励训练样本，使基座模型获得明显提升（如 MuSiQue 上 +3.8%）。电商搜索 Agent 的训练中可直接集成，无需修改原有 RL 算法。
- 工程实现灵活：进化算子既可直接编辑 token 序列，也可用 LLM 提示实现（本文在代码生成任务中采用后者）；子目标验证器支持规则、代码执行、嵌入相似度或 LLM 评判，易于根据业务场景快速适配。