#Self-Refinement

3 篇

RESKILL: Explicit Failure Attribution and Structured Repair for Interactive Language Agents

RESKILL：交互式语言 Agent 的显式失败归因与结构化修复

🧭 Agent 技能失败归因与结构化修复

The Hong Kong University of Science and Technology (Guangzhou) · The Hong Kong University of Science and Technology

提出 RESKILL，通过显式失败归因、覆盖度归因选择局部技能补丁及重测条件更新，显著提升交互式语言 Agent 的修复效果

📌 工作参考价值（4 点）

在电商推荐/广告策略 Agent 中，用「覆盖度归因」替代全量重写：失败后仅对覆盖失败解释的局部技能或提示词打补丁，避免影响无关行为，降低回归风险。
显式维护修复状态（repair state）：记录失败假设、候选补丁、重测结果，使迭代修复可追溯；可将此数据结构纳入线上推荐 Agent 的调优流程，便于人工审核与回滚。
将「重测失败」也作为后续修复的输入：不丢弃不成功的 retest，而是用它更新活跃失败解释，让模型在下一轮聚焦未解决问题；适用于多轮策略搜索、query 改写、工具调用等需要反复试错的场景。
把 LLM 生成的修复因子结构化（如 JSON 字段：failure_hypothesis, patch, coverage），由程序控制选择与更新，而不是依赖一次性的自然语言 reflection；工程实现上可复制此模式，提升修复的稳定性和可复用性。

Agent | 2026-09-14 | cs.CL | score 7/10

Asymmetric Capacity Allocation in Self-Refinement Pipelines

自精炼流水线中的非对称容量分配

🧭 LLM 自精炼流水线非对称容量分配

University of California, Irvine · Drexel University

首次按阶段研究自精炼流水线模型规模：生成与精炼需大模型，评论器小模型即可

📌 工作参考价值（4 点）

多阶段生成/改写流水线不要均匀分配模型规模：生成器和精炼器用大模型，评论器可大幅缩小；评论器只做判别，容量不敏感，能省大量 KV cache 和算力。
部署自反思/reflection agent 时，用小模型作 critic 过滤中间结果、大模型做 revision，可保持质量同时显著降低耗时与成本；避免 critic 也上大模型。
注意 refiner 不要过度缩小：过小的 refiner 可能把已经不错的生成改坏，形成负增益；推荐理由、商品文案生成等场景应为 revision 保留充分容量。
若业务使用生成-评论-改写 pipeline 做 query 推荐或 push 文案，可按此分配预算：先固定大 generator，选择尽量小的 critic，再粗测 refiner 的敏感区间。

LLM | 2026-08-21 | cs.LG | score 7/10

Self-Refinement LLM Agents Model Scaling Inference Efficiency Critic-Generator Pipeline

Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards

从失败中学习：基于可验证奖励的修正导向策略优化

🧭 利用失败轨迹的修正训练增强 RLVR ★ 深度解读

Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Xiaohongshu Inc.

将 RLVR 中的失败轨迹转化为修正监督，无需额外信号，显著提升推理与自我纠错能力

📌 工作参考价值（4 点）

在构建对话推荐 Agent 时，可利用用户交互中的失败轨迹（如不满意回复）构造修正对，通过 RL 训练提升 Agent 自我纠错能力，而非简单抑制。
生成式推荐或代码生成 Agent 可借鉴难度感知偏好采样（Section 3.3），优先重放中等通过率的样本，避免在过难或过易问题上浪费计算。
自适应重放比率与风险厌恶奖励塑形（Section 3.2）可迁移到推荐策略 RL 训练中，动态平衡正确与错误轨迹，防止遗忘已学知识并抑制能力退化。
在线修正机制无需外部标注或奖励模型，适合电商 Agent 在无人工反馈的条件下持续优化多步规划与纠错能力。

Training | 2026-05-13 | HF Daily | score 8/10

RLVR GRPO Error Correction Self-Refinement Reasoning Code Generation