VeriCUA:通过智能体式探索验证计算机使用智能体
🧭 Agent 任务完成验证 · 动态证据探索
Google · The University of Hong Kong
将验证视为动态证据收集与评估,统一在线离线、跨平台 CUA 任务完成验证,提升一致性并更强拒绝误报
📌 工作参考价值(4 点)
- 对电商 RPA、广告投放自动化等 CUA 场景,别只用 VLM 静态判断轨迹或固定生成检查脚本;可引入验证智能体在任务完成后继续探索 GUI 或执行代码检查,收集互补证据,降低因部分观测导致的假阳性。
- 先根据任务上下文构建 rubric,再对未满足 requirement 动态选择 GUI/code check,并用显式证据规则合并结论。这个流程可直接迁移到业务 Agent 的离线评测、数据清洗与 RL 正负样本过滤,尤其适合 hard cases 标注。
- 在线部署时,当 Agent 宣称完成,再触发一轮验证探索能更强拒绝 false completion claim,适合客服、订单处理等高风险场景,防止未保存编辑或部分完成被当成成功。
- 平台无关的统一验证流程能减少为 Web/App/桌面不同端定制 verifier 的工程成本,可用于多端电商 Agent 的统一评估 pipeline。
ProVe:提案者-验证者解码
🧭 LLM 推理加速 · 提案-验证解码
把大模型微调为一次预测多 token 的 proposer,再以小模型或自身验证,取得 2.5–2.7× 解码加速
📌 工作参考价值(4 点)
- 在延迟敏感的 LLM 在线服务(商品描述生成、query 改写、对话推荐)中,可把已有 AR checkpoint 继续微调成 block proposer,一次 forward 生成多个后续 token,省去额外 draft head,直接降低串行 forward 次数。
- 若业务要求输出与 greedy AR 完全一致,采用 ProVe-lossless 自验证;若允许少量精度损失换吞吐,则接一个小 verifier,这样部署时可以按 QPS 目标动态切换档位。
- 对 Agent 多步推理或工具调用场景,长轨迹生成可让大模型一次起草多个步骤或工具参数,再用轻量 verifier/规则引擎快速校验前缀,减少交互轮次。
- 注意 block size 与接受前缀的关系:论文 block size 16 只有 6.6 token 平均匹配前缀,实际部署需按领域调 block size 并监控接受率,避免无效计算。
任务状态治理:一种可验证、可恢复的 GUI 代理执行虚拟机
🧭 GUI Agent 状态治理与恢复
SAIS, University of Chinese Academy of Sciences · Institute of Automation, Chinese Academy of Sciences · Meituan · Peking University · Institute of Software, Chinese Academy of Sciences
提出 TaskVM,将 GUI 任务建模为可编辑契约,实现可验证与可恢复的代理执行
📌 工作参考价值(4 点)
- 将任务建模成 Desired / Preserve / Observed 三栏契约:在电商运营、广告投放等 Agent 流程中,允许用户编辑期望结果与“必须保持不变”的字段,减少执行漂移带来的失控。
- 对每个 Agent 动作预标记 reversible / compensatable / irreversible:尤其适用于改价、发券、调整预算等高风险操作,便于在执行前评估恢复成本,提供回滚或补偿机制。
- 采用独立 verifier,只依赖 fresh visible observation 验证目标是否满足,不信任 Agent 自身回报;可迁移到生成式推荐/Agent pipeline 的结果验证,例如页面元素是否出现、按钮状态是否改变。
- 将用户编辑写回真实 GUI 操作:在自研自动化平台中实现可编辑控件与真实界面动作绑定,让业务人员直接修改任务参数后自动执行,提升控制感和信任感。
GAVEL:用于验证与高效长程 LLM 任务规划的图世界模型
🧭 Agent 长程规划验证与修复
用显式图世界模型验证并修复 LLM 长程规划,将单任务成功率从 41.2% 提升至 91.8%
📌 工作参考价值(4 点)
- 为 Agent 工作流构建显式状态图模型(对象关系、动作前置条件/效果),在执行 LLM 生成的业务步骤前做符号化执行验证,拦截不可行操作,减少线上执行失败。
- 将规划错误分成两类:可由世界模型直接推导修复的缺陷(如缺失前置条件、约束违反)和需要语义推理的错误,只把后者回给 LLM,降低高成本模型调用频率。
- 用概率信念状态表示不确定信息(如库存、用户状态),在多步骤任务中动态重排剩余子任务以最小化期望成本,适用于多目标营销流程或客服工单调度。
- 用紧凑 LLM(如 Qwen3-8B)搭配显式世界模型即可显著提升长程任务成功率,适合边缘部署或成本敏感的业务场景。
CONTINUITY:可组合 LLM Agent 安全控制的安全上下文合约
🧭 Agent 安全控制组合验证
ZAST.AI
用 assume-guarantee 合约与认证安全上下文,保证 LLM Agent 跨组件端到端后果完整性
📌 工作参考价值(4 点)
- 在电商/广告/搜索的 LLM Agent 系统中,跨工具、跨组件调用(商品库、广告投放 API、用户数据)时必须显式传递认证上下文,不能依赖组件内部假设;可借鉴「签名 root grant + 接收回执」模式防止授权被中途丢弃或重放。
- 设计多 Agent 协作或工具编排时,采用 assume-guarantee 合约显式声明每个组件的输入前置条件和输出保证,避免单组件安全测试通过但组合后出现上下文断裂;适合安全敏感的推荐策略、召回和排序服务。
- 引入 transformation witness(字段级来源和变换证明)应对数据血缘要求:例如商品信息经清洗、聚合、过滤后产生推荐结果时,能追溯每个字段的修改链,满足合规审计。
- 工程实现上,可信核心仅 1.5K LOC,验证延迟在毫秒级(proof 4.21ms,端到端 7.17ms),可嵌入实时推荐链路做安全校验,无需引入重型可信执行环境。
OmegaUse-SOP:基于人类演示的专业计算机使用SOP工程
🧭 GUI Agent 技能工程化
Baidu, Inc. · Ningxia Electric Power Engineering Co., Ltd.
提出SOP Engineering系统OmegaUse-SOP,将人类专业软件操作演示转化为可复用GUI Agent技能,提升专业SOP任务可靠性
📌 工作参考价值(4 点)
- 对电商运营自动化(如自动操作广告投放后台、商家后台、ERP)的Agent,可借鉴Observe-Reason-Configure-Execute四阶段:先录制人类专家操作轨迹,再抽象成语义级步骤,配置领域规则,最后执行时逐步grounding+验证,而不是让LLM一次生成全部操作,能显著提高可靠性。
- 将SOP与Agent分离,类比prompt engineering,把“专业技能”作为可迭代资产:每次执行失败或人工修正后,回流更新演示和规则,形成企业专属的Agent技能库,类似推荐系统中的用户行为反馈闭环。
- 步骤级验证(step-wise verification)思路可迁移到多步Agent任务中,例如在电商选品、广告调价等流程中,每一步生成后由规则或轻量模型校验中间状态,避免错误累积导致任务失败。
- 多模态轨迹(截图+事件流)可作为训练/微调数据,尤其适合缺乏API的专业软件场景;在电商内部工具中,若某些操作只能通过GUI完成,此方法可低成本积累领域专家知识。
分层多智能体系统实现长程遥感任务可靠求解
🧭 多智能体分层协作与强化学习优化 ★ 深度解读
Beijing University of Posts and Telecommunications · Hunan Normal University
提出 Manager-Specialist 分层多智能体架构,通过步骤级验证和分层强化学习大幅提升小模型长程工具调用与任务成功率
📌 工作参考价值(4 点)
- 复杂长链路业务(选品→人群定向→素材生成→投放→复盘)可借鉴 Manager-Specialist 分层:Manager 负责全局规划、步骤级验证和失败重规划;Specialist 按业务阶段分组工具(如召回/排序/出价),减少跨域工具混淆。
- 在中间产出设置 schema/一致性/约束检查,维护结构化中间状态,支持 fail 重试、uncertain 交叉验证,避免错误在长链路中传播;这对广告投放、推荐策略生成等容易因上游错误导致下游失效的场景尤其有用。
- 训练技巧可复用:两阶段 SFT 先注入领域知识再做 workflow 对齐,能低成本提升小模型业务能力;强化学习时对工具调用按 tier 给分(幻觉工具 -1,域内错误工具 -0.5,正确工具 0.5+执行分),比只奖励最终成功提供更稠密训练信号;Manager/Specialist 分开计算 advantage 后合并 loss,共享 backbone + LoRA 减少部署成本。
- 在小模型上通过结构化层次和验证控制即可接近大模型效果,业务资源受限时不必盲目上大参数量模型。
Apodex 1.1:用环境扩展与多智体协调扩展复杂工作能力
🧭 多智体协作与长程任务执行 ★ 深度解读
以可验证交付为单位,通过环境扩展和可交互自组织 Agent Team 在小模型上逼近前沿长程任务能力
📌 工作参考价值(4 点)
- 把长程推荐/广告分析 Agent 的内部计划外化成 Task Board:子任务、依赖、状态、结果引用都放在模型上下文之外,作为可被工具读写的共享协调状态;在 context compaction 或超长会话中仍能恢复计划,避免依赖 message history。
- 借鉴 verification asymmetry:对生成的商品卖点、活动复盘结论、搜索推荐归因等,只构造核对具体 claim、数字、出处和格式约束的验证器,要求反例或独立来源,而不是让验证者重写整份报告;反馈带 claim 级定位,便于定向返工。
- 借鉴 /inputs、/workspace、/outputs 命名空间与 provenance graph:把原始数据、中间实验、最终交付严格分离,发布必须走 controlled delivery;避免把未验证的中间结果作为推荐策略、广告配置或活动方案上线。
- 为推荐/Query 改写/运营 Agent 做可执行 sandbox 和 verifier:用“正向构造便宜、逆向求解昂贵”的方式扩展文件、搜索、代码类可验证任务;先硬化 verifier 再扰动任务,防止奖励黑客,提升 agentic RL 训练信号质量。
HybridRAG-BN:面向孟加拉语KBQA的检索增强与微调验证框架
🧭 低资源语言KBQA · 混合检索+验证精炼
Chittagong University of Engineering & Technology
混合稀疏/稠密检索与LoRA验证、后处理兜底的Bangla KBQA方案,竞赛双榜F1最高0.729
📌 工作参考价值(4 点)
- 在跨境电商/多语言客服KBQA中可复用“BM25+BGE-M3”混合召回:BM25卡精确词,BGE-M3补跨语言语义,减轻低资源语言形态变化对召回的冲击;工程上可离线建倒排+向量双索引。
- 生成器+LoRA验证器双模型范式:先用大模型生成候选答案,再用同一底座LoRA微调做验证与精炼,可嵌入客服回复、商品问答、Agent工具调用结果的质量把关环节,降低不可靠输出。
- 兜底后处理:对低置信度或未解析case,用fallback规则+外部搜索(如DuckDuckGo)二次检索,适合商品知识库覆盖不全时的实时兜底,避免Agent空答或乱答。
- GGUF量化部署Gemma-4-31B,在有限GPU下也能跑生成+验证两个模型;低资源业务可借鉴量化+LoRA节省成本。
声明级可靠性评估:高效测试时推理
🧭 LLM测试时推理 · 声明级证伪
Sina Weibo Inc.
提出声明级证伪的测试时计算重分配框架CLR,用关键声明验证替代额外采样,提升推理准确率并节省37% token
📌 工作参考价值(4 点)
- 在Agent多步工具调用或推理链中,不要对整条trace打分,而是先抽取决策关键声明(decision-critical claims)进行定向验证,可避免常规token噪声稀释错误信号,提高错误步骤召回率。
- 利用“构造难、证伪易”不对称性:对候选答案做语义证伪而非整体重生成,通过查找单点致命矛盾淘汰错误候选,比多数投票更省token且更准;可应用于排序/召回中的多候选融合。
- 推理服务资源受限时,把额外算力从“多采样”转移到“验证器”:用轻量模型或规则对声明级证据做检查,工程上可获得类似本工作37% token节省,同时准确率提升。
- 设计非线性可靠性评分抑制高置信错误共识,而不是简单平均置信度;对电商搜索中的query改写、答案生成等场景,可提升最终输出聚合质量。
自主可审计的医学影像模型开发多智能体框架
🧭 多智能体协作驱动自动化模型开发
The Chinese University of Hong Kong · Institute of Automation, Chinese Academy of Sciences · Microsoft Research · Lehigh University · Independent Researcher
提出 AMID 多智能体框架,通过数据条件方法规划与验证引导两阶段优化,实现医学影像模型开发自主化
📌 工作参考价值(4 点)
- 数据条件的方法规划:根据任务数据分析(特征分布、数据质量等)将粗粒度搜索空间细化为可执行的并行探索路径,可迁移至推荐系统的自动特征工程和模型架构搜索,避免盲目超参试探。
- 验证引导的两阶段优化:先广泛探索再聚焦高潜力候选,并在全流程强制校验验证协议、指标计算和输出物,适用于电商推荐模型的 AB 实验自动优化与合规检查,减少人工介入。
- 多智能体协作流水线:计划、执行、验证等 agent 分工协作,可参考搭建推荐模型开发的自主迭代闭环,从数据到上线全链路自动化。
- 强调可审计性:对预测产物和流程的强制验证思路,可借鉴用于生成式推荐中确保生成内容的安全性与一致性,或广告创意自动化审核。
NOVA:面向工业推荐系统架构演进的验证感知多智能体框架
🧭 Agent辅助架构自动演进 ★ 深度解读
Tencent Inc.
将模型架构修改视为反馈驱动的搜索,用“架构梯度”指导修改并级联验证扼杀静默失败
📌 工作参考价值(4 点)
- 架构搜索即反馈控制:借鉴SGD思想构造不可微的“架构梯度”,聚合上一次修改、验证诊断、指标差量和轨迹记忆,指引下一次修改方向;该模式可直接用于线上模型的自动化调参/升级,比盲测更经济。
- 多级验证阻断静默失败:在真实训练前加入结构语义门(检查shape/mask/特征映射/融合路径),使可编译但结构错误的候选提前终止,并将失败模式存储为后续迭代的“禁止方向”,能大幅减少无效GPU消耗。
- 风险分级与人工确认路由:按任务复杂度分L1–L4,高风险或技能覆盖不足的修改自动切至Copilot模式要求人工确认,这种生产安全机制可直接嵌入AutoML或Agent pipeline。
- 失败信号复用为搜索知识:除指标反馈外,将语义验证和工程失败模式结构化存入轨迹记忆,形成可复用的禁止方向,让后续迭代自动避开已知坑点,这一工程化trick可显著提升迭代有效率。
验证的边界:编码智能体奖励没有万能解
🧭 Agent奖励设计 · 验证信号共同演化
Qwen Team
论证验证信号需兼具可扩展性、忠实性与鲁棒性,四种奖励构建实验指出验证必须与生成器协同演化
📌 工作参考价值(4 点)
- 在推荐/广告排序模型优化中,离线代理指标(如CTR预估)常偏离真实业务目标,可借鉴可扩展–忠实–鲁棒三维框架,定期用用户直接反馈(类似论文“用户作为验证器”)校准奖励,防止过拟合代理指标。
- 生成式推荐(如Semantic ID生成)场景,生成器与验证器应联合迭代更新,防止固定验证标准导致的奖励黑客;可引入自动渐进验证器,随生成能力提升动态调整评估维度。
- 多智能体协作推荐中,对开放意图的用户Query,可采用类“rubric verifier”思路,将模糊需求分解为多个可自动检查的子指标(如多样性、时效性、相关性),提升验证信号鲁棒性。
- 长周期购物助手Agent任务中,可设计自动化验证Agent监控并分段评估推荐链路的中间步骤,降低人工评估成本,同时保持信号忠实性。
HANSEL:从 Web Agent 轨迹中提取面包屑以支持交互式验证
🧭 Agent 可解释性与交互式验证
University of California, Irvine
从 Web agent 多步操作轨迹中提取关键证据页面,以交互式视图呈现,将验证从被动阅读变为主动探查
📌 工作参考价值(4 点)
- Agent 验证界面设计:在电商搜索或比价 agent 中,可将 agent 访问过的关键页面(如带有特定过滤、排序、搜索词的状态)以可交互形式呈现给运营或审核人员,而非展示全量日志,快速验证推荐结果是否正确。
- 证据缺失显式标记:当 agent 输出无法对应到任何已访问页面时,自动标记“无证据”状态,防止 agent 幻觉导致错误决策(如商品推荐理由不实),这类似推荐系统中对黑盒结果增加可追溯性。
- 关键状态保留和重放:借鉴其保留页面状态(过滤条件、查询词、滚动位置)的做法,在 agent 辅助的搜索推荐管道中,可记录并复现关键决策点的上下文,方便线下复盘和规则优化。
- 轨迹压缩与证据聚焦:将 agent 全量操作日志压缩 61.6% 但仍保持高 precision/recall,这一思路可用于生成式推荐 agent 的行为总结,减少人工审核成本,同时定位关键推荐依据。
超越自然语言到代码:多模态代码智能的结构化综述
🧭 多模态代码智能综述 · 视觉到代码
Meituan · The University of Hong Kong · The Chinese University of Hong Kong · Institute of Automation, Chinese Academy of Sciences · Nanjing University
系统归纳多模态代码智能任务,按代码角色与领域分类,提出以验证为中心的未来方向。
📌 工作参考价值(4 点)
- 电商落地页、活动页自动生成:借鉴 GUI 代码生成方法,将设计稿或截图直接转化为前端代码,降低人工开发成本。
- 多信号验证提升界面质量:在生成后结合视觉渲染对比、交互状态检查等互补信号,减少人工审核,提高生成代码的正确性与一致性。
- 数据报表自动化:借鉴科学可视化代码生成(如 MatPlotAgent),从数据描述或示例图生成图表代码,用于自动化 BI 报表或运营分析。
- Agent 工具使用与验证闭环:将代码作为可执行策略,利用多状态验证与视觉反馈确保 Agent 动作的可靠性,例如在交互式推荐场景中自动生成并验证 UI 操作脚本。
去中心化多智能体系统与共享上下文
🧭 去中心化多智能体协调框架 ★ 深度解读
Stanford University
提出去中心化多智能体框架DELM,通过共享验证上下文和异步任务队列,在软件工程与长上下文推理上显著提升性能并降低近半成本。
📌 工作参考价值(4 点)
- 共享验证状态替代中心化路由:在电商多智能体场景(如并行搜索、推荐、客服),通过维护一个全局共享的已验证上下文(可类比为购物车状态或用户意图),让多个 Agent 异步读写紧凑进展摘要,避免依赖单一协调器合并结果,减少串行瓶颈和错误传播。
- 先验证后准入的防污染机制:对 Agent 写入共享状态的内容进行自动验证,检查其与原始证据的一致性,避免不可靠的信息在 Agent 间扩散。在商品知识库更新、多源信��聚合时,可借鉴此设计确保共享状态可信。
- 分层压缩与按需展开:用极简要点(gist)构建全局视图,需要细节时再追溯深层摘要或原始数据,降低长上下文推理的 token 开销。处理海量商品描述、用户评论、长文档问答时,可在低分辨率快速扫描后精准定位关键段落。
- 异步任务队列与自主领取:Agent 从队列自行认领子任务,完成后写回结果,适合大量并行子任务(如分品类推荐生成、多广告渠道创意生成),天然支持弹性扩展,并可通过失败记录复用避免重复试错。