#Self-correction

4 篇

Action Verification through Conjecture and Refutation for Language Model Agents

基于猜想与反驳的 LLM Agent 动作预执行验证

🧭 Agent 动作预执行验证 · 猜想与反驳 ★ 深度解读

Pohang University of Science and Technology · National AI Research Lab

提出 BLACKSWAN：对每个会改变环境的动作，先预测效果、再生成可测试的怀疑并验证，执行前主动寻找反驳证据

📌 工作参考价值（4 点）

对电商/广告/搜索推荐中的高危不可逆操作（下单、发送营销 push、修改商品价格、删除广告计划）可引入“预期-怀疑-测试”三阶段 guard：在执行前让模型先写清预期效果，再列出可证伪的具体担忧，最后用只读 API 查询验证；任一担忧被证实即拦截并重写动作。
把验证逻辑从“找支持证据”改为“找反驳证据”，并将怀疑预先注册、固定后再去测试，能避免模型先看到证据再反向修正假设，可复用到工具调用安全校验与 Agent 风控中；实现时让怀疑绑定到具体代码元素（变量、API 参数），否则容易产生无关担忧。
只对 state-mutating API 启用该机制，read-only 操作直接放行，能平衡安全与 token 成本；论文中 BLACKSWAN 的代价约为 1.5–9.4 倍 ReAct，弱模型收益更大，适合中小参数模型在关键路径上的兜底。
零样本/少样本条件下依然有效，说明不需要大量 in-context 演示即可迁移；如果业务中已有手工规则或 pre-defined 检查，可以替换为 LLM 生成反驳假设 + 环境验证的软校验，减少硬编码漏报。

Agent | 2026-11-02 | cs.LG | score 8/10

Opera：面向长程编码 Agent 的语言化批评框架

🧭 Agent 执行期批评与反馈闭环

Salesforce AI Research · Rutgers University · Lehigh University

将每次纠正视为持久化笔记并跟踪到问题解决，显著提升编码 Agent 的 resolve rate 并支持蒸馏训练

📌 工作参考价值（4 点）

对电商/广告场景中的长周期 Agent（自动选品、广告投放、多轮购物助手），把每次干预/纠正变成持久化 note 并跟踪到闭环，而不是发完反馈就结束；配合周期性+事件驱动触发器，避免在任务进行中过早打断。
诊断问题用 typed operators（如重复动作、过早完成、缺乏验证），可迁移到推荐/搜索 Agent 的轨迹诊断：定义可枚举的高频失败模式，比开放生成 feedback 更可控、可审计。
反馈投递前先做 evidence audit，只基于可见轨迹批评，降低 LLM critic 幻觉和误判；对推荐解释、query 改写评估等 critic 模块同样适用，可减少误导性反馈。
用 critic-guided rollouts 蒸馏成 on-policy 微调数据，使小模型（如 Qwen3.5-9B）推理时无需 critic 也能保持提升，适合线上低延迟的推荐/广告 Agent 部署；这是一个可复用的训练数据生产范式。

Agent | 2026-10-07 | HF Daily | score 7/10

缓解虚构共识：多智能体辩论合成的主动来源门控

🧭 多智能体辩论的主动来源验证与分歧处理

Institute of Computer Science, Warsaw University of Technology

在MAD合成阶段引入主动来源验证与条件阻断，显著提升来源保真度并抑制虚构共识

📌 工作参考价值（4 点）

在多Agent决策或推荐解释生成流程中，增加「来源审计」层：对最终输出逐条验证是否被上游日志/数据支持，防止模型生成流畅但无据的结论。
采用「自修复→硬阻断」策略：先尝试修正无支持的声明；若无法修正，则直接阻断并输出分歧报告，而非强行发布。在电商推荐理由生成、代理协商结果等场景可显著降低事实幻觉风险。
设置发布前质量门（gate）：当证据不足或置信度低时，主动降级为明确的不确定性提示（如“无法给出可靠推荐”），而不是给一个看似合理的错误答案。
用户研究表明，在关键场景下，用户更偏好明确的失败信号而非虚假的流畅共识。在产品设计中应优先保证可信度与透明度，而非一味追求文本流畅性。

MultiAgent | 2026-09-25 | cs.CL | score 7/10

解耦轨迹生成与重要性加权微调的高效多轮优化

🧭 多轮交互优化 · 加权监督微调 ★ 深度解读

The Hong Kong University of Science and Technology (Guangzhou) · The Chinese University of Hong Kong, Shenzhen

通过将KL正则化RL目标等价为重要性加权SFT，以监督效率实现多轮推理的强化学习性能

📌 工作参考价值（4 点）

离线轨迹 + 重要性权重替代在线RL：在对话式推荐、智能客服等需多轮交互的场景，可离线采样参考策略的轨迹，按指数回报加权后做SFT，避免每次模型更新都重跑多轮对话，显著降低训练成本。
奖励塑形设计：用折扣因子鼓励尽早成功，并加入重复惩罚防止模型原地打转，这种回报定义可直接复用于需要逐步修正输出的Agent任务（如多轮搜索、工具调用）。
仅监督最后一轮：在“正确即停”的交互协议下，只对轨迹的最终响应施加权重，跳过已被验证器否定的中间尝试，简单有效地改善了偏差-方差权衡，适用于类似纠错场景的轨迹数据利用。
Prompt 级权重归一化：对同一prompt下的多条轨迹独立计算分区函数进行归一化，保证权重只在局部比较相对好坏，稳定训练，这一技巧可推广至其他基于rollout重要性采样的微调方法。

Agent | 2026-05-29 | cs.LG | score 8/10