重新思考 Agent Harness 中的验证设计
🧭 Agent 验证设计与低成本 critic 扩展 ★ 深度解读
Cornell University · Alibaba Group
系统对比 17 种 agent 验证设计，独立低费 critic 带来 5.9–9.5pp 编码提升且成本仅 1.13–1.25×
📌 工作参考价值（4 点）
- 在电商 Agent 工作流（自动生成 SQL、商品文案、广告素材、数据分析报告）中，把最终验收拆给独立 critic，而不是让执行 agent 自查；critic 可用低成本模型，上下文只给任务要求和 diff/changes，不给完整轨迹，可降低 critic token 29–43% 且效果更稳。
- 对可视化/交互产物（如落地页、创意 Banner、可交互配置器），在 critic 指令中要求调用渲染/截图工具做视觉检查；VisualBench 显示 changes + visual inspection 净偏好最高（+23.8pp）。
- 用系统提示词注入简洁 verification instruction，并在每次代码/文件修改后插入 after-edit reminder，可作为低成本 default；但不要轻易使用完成时自我复查完成门，容易显著抬高成本。
- 如需继续 scale，优先增加独立 critic 数量（width）并合并反馈后一次修订，比多轮 review（depth）更省总成本（约 19% lower）；避免让主 agent 多次重复执行。
FIRE：面向可靠语言模型智能体的失败知情运行时工程
🧭 LLM Agent 可靠性运行时策略
Failproof AI
通过运行时注入定向指令与动作拒绝，不改权重与用户提示，显著提升代理重复成功率
📌 工作参考价值（4 点）
- 对购物导购/搜索推荐 Agent，可记录失败轨迹中失败前的状态（如即将执行危险 shell 命令或改写 query 前），在此状态注入简短定向自然语言纠正，并可选拒绝特定动作，不改模型权重或系统提示，作为低成本可靠性补丁
- 评估 Agent 可靠性时引入 pass^2（两次尝试均成功）而非只看 best-of-2；在电商场景如自动选品/广告文案 Agent，更贴近“稳定交付”要求，能暴露“偶尔成功但不可依赖”的问题
- 用低 tier 模型 + 失败知情策略可逼近甚至超过高 tier 模型裸跑，同时成本约一半；在预算有限的推荐 Agent 场景，可优先做运行时工程而非升级模型
- 做对照实验时用 timing-matched sham 和 generic verification 排除“额外提示/更多思考”的混淆，确认是定向纠正行为在起作用；业务团队可借鉴该 RCT 设计来验证策略有效性
T1：面向长程任务的终端Agent强化学习
🧭 终端Agent强化学习与MoE稳定训练 ★ 深度解读
Tencent Hy Foundation Model Frontier · National University of Singapore · University of Georgia · Indiana University · University of Maryland, College Park
122B MoE终端Agent靠RL在Terminal-Bench 2.1达64%，用TITO+R3稳定训练与密集验证奖励
📌 工作参考价值（4 点）
- MoE 训练-推理一致性：对大规模稀疏模型，记录推理时每个 token 的专家路由掩码并在训练时重放（R3），同时让训练直接消费采样时的 token ID 而非重新渲染文本（TITO），可消除训练-推理 log-prob gap，避免梯度更新到错误的专家子网络。对推荐系统中带 MoE 的排序或召回模型同样适用。
- 密集奖励设计：用绝对通过断言数而非通过比例作为 RL 奖励，并固定全局尺度（S=20），保留不同难度任务/用户价值差异。在电商多目标 RL 中，可借鉴“绝对达成数”作为奖励，避免归一化掩盖长尾或高价值任务。
- Critic warm-up 与健康度监控：先在有监督数据上预热 critic 一个 epoch，设置 critic 学习率为 actor 的 30x，并用 explained variance（全局方差约减）持续监控。冷启动 critic 可能导致 EV 为负，大幅拖慢 RL 收敛。
- 数据质量审计防 reward hacking：用 LLM 对训练任务做语义审计，硬拒绝隐藏需求、测试泄漏、解决方案捷径、verifier 过弱等。在推荐/Agent 任务构造中，可复用该流程过滤低质量或可被刷分的训练样本。
StateM：用 Harness Scaling 在 Terminal-Bench 2.1 达 95.3% / $15 前沿运行
🧭 Agent harness 扩展与状态机执行控制 ★ 深度解读
StateM 用状态机 runbook 外部化执行控制，不改权重，Terminal-Bench 2.1 达 95.28%，DeepSeek $15 达 88.8%
📌 工作参考价值（4 点）
- 将长流程 Agent（如生成式推荐、商品投放、数据分析 pipeline）编码为 YAML 状态机 runbook，每个阶段设 exit checks（离线评估分、数据完整性检查、配置校验），可显著减少 agent 提前退出或跳过必要步骤。
- 采用“状态即上下文与契约边界”设计：进入新阶段时刷新 phase-local 指令与进度摘要，避免长轨迹导致控制信号稀释；离开阶段必须通过可执行 command/predicate 校验，而不是 agent 自述完成。适合生成-验证-修复-发布这类闭环。
- 建立失败驱动的 harness 迭代流程：把每次失败归类为缺失上下文、无效转换、弱检查、提前交接、恢复失败等，将通用修复固化为 runbook 版本，不改模型权重。这能把重复踩过的坑沉淀为可执行约束，并保持模型不变。
- 跨模型迁移时，同一模型家族可冻结 runbook 直接复用；跨 provider 需按新模型适配 practices，但可保留 runbook 结构与开发原则。可以尝试用便宜模型 + 定制 harness 逼近昂贵模型，降低推理成本。
代理优化器增益能否复合？基于 Terminal-Bench 2.0 的持续学习评估
🧭 Agent 持续优化与回归感知搜索 ★ 深度解读
RELAI.ai
两阶段持续学习协议揭示：仅回归感知的优化器 RELAI‑VCL 能同时实现正向迁移与二次提升，终身平均通过率达 76.4%
📌 工作参考价值（4 点）
- 在 Agent 自优化流水线中强制回归控制：每次接受候选更新前，校验其在已解决任务上的表现，拒绝退步的更新。不要等到部署后才回滚。
- 用两阶段评价暴露过拟合与停滞：开发阶段应采用“静态优化 → 迁移到新任务 → 二次优化”的协议，避免仅凭单阶段 benchmark 分数被误导。
- 作为隐式泛化过滤器的回归约束：回归感知搜索会自然排斥仅针对当前任务集的捷径，因此对未见任务有更好的迁移性，这对于推荐/搜索 agent 的 prompt 或工具链优化尤其有益。
- 工程实现时可参考 RELAI‑VCL 的思路：在 agent 框架中内置一个任务类型分类器与完成前的一致性检查门，无需硬编码任务样本即可提升鲁棒性。
智能体弃权：何时停止行动而非继续交互
🧭 Agent 弃权决策与上下文工程 ★ 深度解读
University of Leeds · Southwest Jiaotong University · University of Washington · Allen Institute for AI
研究LLM智能体在任务不可行时的弃权决策，揭示及时弃权是主要瓶颈，并提出用少量交互轨迹蒸馏停止规则以显著提升弃权效率和成功率。
📌 工作参考价值（4 点）
- 电商对话Agent应具备环境感知的及时弃权机制：当用户需求无法在商品库中满足时（如“买粉色客厅枕头”但无粉色枕头），Agent不应持续无效搜索，而应在首次搜索失败后即停止并提供替代建议，避免浪费推理资源和用户等待时间。
- 利用少量失败轨迹提炼弃权规则：借鉴CONVOLVE方法，用极少（20条）不可行任务的交互日志生成动态“弃权手册”，注入系统提示，可显著提升Agent对不可行需求的及时识别，无需模型重训，适用于快速迭代的在线购物助手。
- 评估指标需侧重及时性：放弃率（AbsRec@K）和路径加权成功率（SPL）比单纯的任务完成率更能反映Agent的决策效率。在电商Agent评测中加入“最早可弃权步”的标注，可精准定位Agent是否过度搜索或过早放弃。
- Agent脚手架设计影响弃权行为：在终端/工具调用场景中，不同的Agent框架（如Codex CLI vs Terminus 2）会显著影响弃权的时机和频率，说明即便基座模型相同，交互循环设计和观测结构也会左右Agent的“止损”能力，推荐场景应选择弃权保守性更适中的框架。