CUA-Master：开放世界递归改进驱动的计算机使用智能体扩展
🧭 CUA 数据飞轮与递归训练
MMLab, CUHK · THU · HKUST(GZ) · Explore Academy · JD
提出嵌套双循环递归改进框架 CUA-Master，结合开放世界数据与自催化传播，显著提升 GUI 智能体性能。
📌 工作参考价值（4 点）
- 构建双循环数据飞轮：外层利用开放世界语料和模型弱点指导数据迭代，内层从教学视频提取真实工作流作为种子任务，通过视觉-语义双路径重建轨迹，可迁移到电商 RPA/后台自动化数据生产。
- 自催化传播：将种子任务提炼为可重用原语（primitives），可控合成多样、复杂、可验证任务，适合生成大规模 GUI 操作训练集，降低人工采集成本。
- 快照回滚重试机制：在真实环境中通过反馈引导快照与回滚，提升轨迹收集的成功率和可靠性，可用于线上 Agent 执行时的容错与数据回收。
- 结果证明递归迭代可带来持续增益，CUA-Master-27B 在 OSWorld 等 benchmark 达到 80.2，说明中等规模模型配合高质量数据合成可逼近大模型，适合资源有限的业务团队。
辅助奖励驱动的自改进：从验证轨迹中学习并评估迁移
🧭 小模型推理自改进 · 轨迹级辅助奖励
Georgia Institute of Technology
提出用置信度/熵辅助轨迹偏好区分同等正确推理，提升小模型自改进与跨任务迁移
📌 工作参考价值（4 点）
- 业务 LLM 生成推荐理由/query/文案时，常只有点击/转化等弱反馈；可引入置信度（SC）或熵变化+局部平滑度（UID-Conj.）作为辅助奖励，对正反馈轨迹打分，筛选高质量样本做 SFT，在标注有限时提升迁移表现。
- 离线加权 SFT 比在线 TTRL 更稳定且证据更强：同一响应池按辅助奖励加权训练，较均匀加权提升 1.93 点（CI [0.44,3.44]）。业务可优先做离线加权精调，成本低、便于上线。
- 辅助奖励选择依赖任务：SC 更适合判断指令遵循和轨迹质量；UID-Conj. 在多种训练设置中更利于下游收益。实际可两者都算，在验证集上选择权重或融合，而非只看推理偏好。
- 评估轨迹偏好应以最终业务指标为准，而非仅看推理期排序一致性；建立下游 A/B 或离线 proxy 评估，辅助奖励要暴露学习价值。
A-RSI：零数据多模态自改进的自适应任务刷新
🧭 零数据多模态自改进训练
用训练日志中的奖励方差与准确率动态刷新任务池，实现零外部数据的多模态递归自改进
📌 工作参考价值（4 点）
- 在 RLVR/self-play 持续训练中，用训练日志中的 reward variance 和 accuracy 趋势作为任务池刷新信号，替代依赖验证集或线上 AB，可降低离线指标过拟合风险，适合推荐/广告模型的长期自训练。
- 任务生成与答案校验解耦：用可执行 program/schema 生成题目并单独审计答案，而不是 self-consistency；电商场景可基于商品 schema、用户行为规则生成可编程校验的合成任务，自动清洗噪声 label。
- 维护 model-authored program 库做零外部数据合成，可迁移到商品文案、query 推荐语料增强；用 property-based check 自动验证 reward 与刷新规则，适合离线规模化生产训练数据。
- 自适应刷新机制减少人工调参：监控窗口内学习信号下降（如 reward variance 降低或 accuracy 平台期）再触发新任务生成，能平衡训练成本与效果。
GEPA-Curator：面向自改进 Agent 的策展式学习框架
🧭 自改进 Agent 的策展式提示优化
UC Berkeley · ICSI · LBNL · Furiosa AI · KAIST
用任务策展与成功轨迹检索过滤噪声失败，提升 reflective prompt optimizer 性能，多基准最高超 GEPA 20.7%
📌 工作参考价值（4 点）
- 在构建 agentic 流程（客服助手、推荐理由生成、自动选品）时，不要把所有失败轨迹都喂给 prompt 优化器；先做失败归因，区分 prompt 缺陷、工具/harness 不稳定、环境随机性和 judge 噪声，只保留可归因于 prompt 的失败，提升学习信号质量。
- 成功轨迹检索可迁移到电商场景：为某类商品生成文案或操作手册时，检索相似商品/任务的历史成功 trajectory 作为 few-shot context 注入优化器，稳定优化方向并减少灾难性遗忘。
- 若线上已使用 GEPA/ACE 等 reflective optimizer，可前置“任务是否值得学习”的判断，并维护带 embedding 索引的成功轨迹库做检索，工程成本可控且效果提升显著（最高 20%+）。
- 结果提示数据飞轮中噪声样本会污染优化器；在推荐/广告的自动 prompt 优化与失败样本筛选上，应引入置信度过滤和成功案例检索机制。
三位一体：能力驱动的多模态智能体递归自改进
🧭 多模态 Agent 递归自改进
The Trinity Research Team
提出 Trinity 框架，通过 Creator/Explorer/Evolver 将任务重组为能力树，递归进化 Harness 并路由选择
📌 工作参考价值（4 点）
- 在电商/搜索/推荐的 Agent 工作流里，可以按底层能力需求而非业务场景（搜索、推荐、广告）来组织任务与模块：定期用已验证执行轨迹重新聚类任务，把“表面 query 分类”换成“能力树”，减少场景间重复建设。
- 借鉴 Capability-Driven Real2Sim2Real：用历史日志或仿真沙箱构造简化的可验证环境，让 Agent 先做离线能力学习，再在原任务上评估迁移；适合在推荐文案生成、Query 改写等高频能力上做低成本迭代。
- 参考 Harness 树 + Capability-Aware Router 的做法：维护一组可复用的 Harness/模块配置，不改动整体拓扑，只在固定拓扑内累积验证更新；再根据公开任务元信息（如 query 类型、商品类目）路由到不同模块组合，类似多任务 MoE 的轻量路由。
- 对具身或多模态业务场景，优先抽取共享能力做仿真训练，而不是为每个异构场景单独建环境；实测在 unseen benchmark 上仍有 26 分提升，说明能力抽象具备迁移性。
基于 On-Policy 自训练的数据无关大语言模型自我改进
🧭 LLM 自训练 · 数据自由自我改进
Google · Ulm University
用高层主题描述合成问答与推理轨迹，在无外部监督下完成 on-policy 自蒸馏并跨领域提升模型能力
📌 工作参考价值（4 点）
- 在搜索/推荐场景中，仅凭类目或主题描述即可为模型合成针对性训练数据，显著降低人工标注 query-答案对的成本，可用于意图识别、query 改写、推荐理由生成等任务的领域适应。
- 将 on-policy 自蒸馏用于对话式推荐 Agent：让模型自己生成用户 query 和响应轨迹，再用自身生成的高置信度推理作为 dense token 目标，减少 offline SFT 的 exposure bias，改善在线交互表现。
- 合成 privileged reasoning traces（如逐步决策过程）并对模型进行蒸馏，可迁移到电商多步推理场景，例如购物决策路径生成、广告创意推理、客服多轮对话策略优化。
- 该框架不依赖外部教师模型，适合在业务数据敏感、无法调用 GPT-4 等外部 API 的私有化部署环境中做持续自我改进，且能保留非训练领域能力，降低灾难性遗忘风险。
RSIHub：可组合的 Agent 进化方法框架
🧭 Agent 进化框架与实验治理 ★ 深度解读
University of California, Berkeley · University of Science and Technology of China · Douyin Group · Shanghai Jiao Tong University · Beijing Institute for General Artificial Intelligence
开源框架将 Agent 进化策略与执行评估解耦，支持公平对比、溯源与受保护评测
📌 工作参考价值（4 点）
- 在电商/广告 Agent 迭代中，把「策略改动面」和「评估面」分开：对 prompt、工具、编排做自动进化时，将评测器、数据切分、认证记录放在框架侧，禁止 mutate 触碰评估配置；这能避免上线 Agent 优化时因评测漂移导致错误归因。
- 借鉴 train/gate/sealed 三分法：用 train 产生反馈、gate 做准入、sealed 做 held-out 报告。搜索推荐场景中，可对应历史反馈窗口、回放准入窗口、未来线上 sealed 时段；防止对历史日志过拟合，暴露 query 改写/文案生成的泛化问题。
- 建立轻量 provenance/lineage：每个候选版本绑定 commit、recipe snapshot、模型版本、数据集指纹、split 与得分，便于回溯和审计；框架独占开销 <0.02% 生成时间，可集成进现有 MLOps。
- 复用 recipe+operator 组合模式：把进化策略写为算子，用配置声明 mutable surface，能让 A/B 对比不同 prompt/策略搜索算法时少写端到端实验代码，团队可快速替换单个策略组件。
更多记忆更差？抗持久化记忆设计抑制 LLM Agent 错误复现
🧭 LLM Agent 记忆与自改进机制 ★ 深度解读
Indiana University · Tencent HY
提出 Anti-Persistence 记忆：只存轨迹和结果，抽象按需合成并丢弃，抑制错误复现，提升成功率并降低成本
📌 工作参考价值（4 点）
- 在电商/推荐 Agent 的记忆设计中，优先持久化原始交互轨迹和结果日志，而非规则、总结或技能等抽象内容；抽象只在当前任务中按需合成，使用后立即丢弃，防止错误抽象跨任务固化。
- 可借鉴其自适应模式选择：定义多种经验使用模式（直接复用轨迹、模仿成功行为、提炼任务策略、生成纠错规则），用轻量 contextual bandit 结合任务相似度、时间衰减和 UCB 探索项来选，比固定策略更鲁棒。
- 奖励信号中加入成本惩罚 r = clip(y - λκ, -1, 1)，λ 设小值（如 0.05）能鼓励选择性合成，在保持成功率的同时控制 LLM 调用量，适合线上成本敏感场景。
- 注意“错误复现”路径：即使删除错误抽象，其影响仍可能通过被影响的轨迹进入后续合成；评估记忆系统时应追踪历史暴露来源，而非只做简单剪枝或屏蔽。
轨迹到差异化技能：自我改进 Agent 的认知分化
🧭 Agent 技能自进化 · 功能分化 ★ 深度解读
University of Science and Technology of China · Meituan · City University of Hong Kong
提出 CDSE 将轨迹提炼为 Meta/Experience/Tool/Script 四类功能分化组件，统一维护与自适应调用，在 36 个评测设置中全面超越既有技能进化方法
📌 工作参考价值（4 点）
- 在构建电商/广告领域的 Agent 技能库时，不要把所有经验写进一个大 prompt 或文档，而是按 Meta/Experience/Tool/Script 拆分；例如商品运营 Agent 中，Meta 管任务规划和停止条件，Experience 管类目/活动上下文的启发规则，Tool 管具体 API 调用注意事项，Script 管可复用的数据清洗/报表脚本。
- 从成功和失败轨迹中提取“语义梯度”时，要求每条更新附带轨迹证据行，先做证据过滤和因果定位，再保留；可借鉴用于自动从客服对话、运营操作日志中挖掘可复用规则，减少无证据的泛泛总结。
- 对可执行脚本类知识引入独立验证和自测，未通过验证不进库；这可以避免自动化流程中错误脚本污染后续任务。
- 采用描述可见的自适应调用：在组件加载前提供简短 scope/触发条件/预期收益描述，让 LLM agent 自主选择何时加载哪个组件；实验表明零加载也能通过描述影响行为，适合在 prompt 预算有限时做渐进式披露。
自进化编码代理：基于 Harness-Policy 优化
🧭 Agent 自进化与强化学习
Microsoft Research · University of Virginia · Carnegie Mellon University
提出 Self-HPO 框架，交替优化编码代理的 harness 与 policy，实现递归自改进，显著提升编码任务解决率
📌 工作参考价值（4 点）
- 在电商推荐/搜索的 Agent 系统中，不要只微调策略模型或只调整工具/流程（harness），两者应联合迭代优化：让当前策略基于自身失败模式提出新的工具或交互脚手架候选，再用 RL 更新策略，形成闭环。
- 利用策略自身作为 harness proposer 的思路可以迁移到推荐 Agent：当 agent 在特定任务（如 query 改写、商品筛选）上频繁失败时，让其反思失败原因并生成新的工具描述、API 调用模板或搜索流程，然后用这些新 harness 重新训练策略。
- 从训练中收集困难样本（hard tasks）用于下一轮 harness 搜索，可以保证优化方向始终针对策略的当前薄弱点，避免盲目扩展工具集；对推荐系统来说，可借鉴此机制动态聚焦长尾 query 或复杂会话场景。
- 实验显示联合优化 harness 和 policy 的增益超过各自单独优化之和（joint gain > sum of individual gains），这提示在实际业务中，同时调整“模型能力”与“工具/流程”可能带来乘数效应，而非简单叠加。
RSIFlow：自适应自改进工作流与演化元Agent
🧭 Agent 递归自改进与元演化 ★ 深度解读
Beihang University · Tsinghua University · Beijing Academy of Artificial Intelligence (BAAI)
提出 RSIFlow，将自适应工作流编排与元Agent harness 演化耦合，动态诊断瓶颈并更新模型/框架/工件，6基准11/12领先
📌 工作参考价值（4 点）
- 将搜索推荐系统中的多类组件（召回/排序/重排模型、prompt/规则、索引/内容/策略配置）抽象为 Model/Harness/Artifacts 三种可更新目标，由 Meta-Agent 根据线上失败轨迹和 A/B 反馈诊断瓶颈，动态选择“微调模型 / 改 prompt 或规则 / 修内容或索引”，避免固定优化路径。
- 借鉴 Harness 三组件抽象 Action/Skill/Planning 管理推荐 Agent 的 prompt 与工具调用规则；用结构化技能库存储“当出现 XX 失败时→修改 YY→保留 ZZ”的经验，通过 Add/Supplement/Revise/Merge 持续维护，降低重复调优成本。
- Meta-Agent 模型参数冻结、只更新其 harness（提示词/技能库/规划规则），能以较低成本迭代编排策略；在需要频繁调整策略的广告投放、活动选词、push 文案场景尤其适用。
- 采用“所有候选共享同一 parent + 统一评估 batch + 正增益才接受”的批量更新策略，可防止无效更新累积，并让失败尝试也作为负证据进入经验库，提升更新稳定性。
AI智能体能否登顶？长程游戏竞赛中的对抗式启发式学习评估
🧭 Agent 在对抗游戏中的长周期自我改进
Department of Computer Science and Technology, Tsinghua University · College of AI, Tsinghua University
提出 AHL 范式与 AAArena 基准，评估 LLM 智能体在 12 个对抗游戏中通过选对手、分析回放和改策略爬升排名
📌 工作参考价值（4 点）
- 可借鉴 AHL 的“固定模型权重、让 LLM 作为教练从对局/日志回放中提取规则并修改策略代码”的闭环；在推荐/广告场景可让 LLM 定期分析线上 bad case sessions，产出可解释规则或轻量策略补丁，而不直接改动模型，降低上线风险。
- 论文发现 opponent selection 支持策略提升；对应推荐里困难样本/对抗样本挖取，让 agent 优先复盘高价值失败流量（如高竞价失败、低转化但高曝光），提升迭代效率。
- dense feedback 支持改进；在设计 RLHF/策略迭代时，除了最终指标（GMV/CTR），给 agent 中间步骤奖励或分阶段反馈，避免长程稀疏奖励导致学习困难。
- on/off-policy 回放都有效：线上策略迭代可以同时利用自己的日志（on-policy）和竞品/他组日志（off-policy）做分析，尤其冷启动期可借其他方案数据。
递归自重写扩展复杂任务成功轨迹
🧭 轨迹重写 · 自改进 SFT
Tencent HY LLM Frontier · University of Maryland, College Park · University of Georgia · National University of Singapore · Indiana University
用 planner-critic-executor 递归重写多 harness 成功轨迹，将 2k 源轨迹扩至 11k，SFT 后 terminal 任务 pass@3 全面提升
📌 工作参考价值（4 点）
- 数据合成去 harness 特定干预：引入 critic 自动检查 verifier leakage / solution leakage，可借鉴到推荐 Agent 训练数据生成中，避免把策略特有字段、评估答案或工具返回信号写进 SFT 样本，提升线上一致性。
- 成功轨迹规模化：用 planner 把少量成功 case 抽取为 runbook，executor 在新 sandbox 重放生成多样化轨迹，适合电商搜索/推荐中稀缺的成交路径、高转化 query 改写样本扩增。
- 多策略并行收集后统一蒸馏：三个 harness 联合比单一最强 harness 多解决 34.3% 任务；在业务中可并行跑多路召回/排序/工具链，仅保留成功结果训练 base 模型，避免单管线能力偏置。
- 过程奖励过滤：重写后 process reward 上升说明中间步骤质量提高；对长程推荐/Agent 任务，可用过程奖励而非只看最终结果来做数据筛选。
重建、练习、真机部署：具身智能体的引导式自我改进
🧭 具身智能体自我改进
UC Berkeley · Amazon FAR · MIT · University of Chicago
RPG 不更新模型权重，在仿真中重构练习任务并自我改进技能与提示，22 项操作成功率从 28.6% 提升至 95.0%
📌 工作参考价值（4 点）
- 借鉴“不更新权重、用可复用符号技能库 + 系统提示修订”的固化系统做法：在电商 Agent 中把高频操作抽象成工具/skill，LLM 只负责调度和组合，降低每次推理成本与非确定性。
- 用“执行反馈 + 离线日志重构练习任务”做自举：从历史成功/失败会话中自动生成回归任务和仿真环境，每次修改 prompt 或 skill 前先在跨任务集上评估，避免局部过拟合。
- 借鉴“候选变更先单测、再合并回归”的变更管理：对 prompt 模板、工具定义、规则库做 A/B 和 cross-task evaluation，只保留被验证有效的修订，形成 Agent 系统的 CI/CD。
- 具身/机器人特有的 privileged simulator state 与 sim-to-real calibration 在电商场景不可直接复用；主要价值在于自我改进流程、技能复用与跨任务验证机制。
GUI-HARVEST：证据驱动的 GUI Agent Harness 自改进
🧭 GUI Agent 自适应 Harness 优化
The Chinese University of Hong Kong, Shenzhen · Tianjin University · Harbin Institute of Technology (Shenzhen) · East China Normal University · Shenzhen Research Institute of Big Data
用证据驱动 harness 自动进化，让冻结 backbone GUI agent 自改进并跨任务/模型泛化
📌 工作参考价值（4 点）
- 在电商/搜索推荐 Agent 管线中，可借鉴「证据驱动诊断」：记录模型意图、实际执行动作及前后环境状态（如搜索结果页、购物车状态变化），定位具体状态转移，而非只看最终 reward，从而找出 harness 该改哪里（如终止条件、重试策略、query 改写触发点）。
- 同任务重复运行作为联合证据，比较成功/失败轨迹差异，能排除执行随机性影响，提取 outcome-relevant 的行为差异（例如成功轨迹多了一次二次验证），再把这些差异固化为 runtime 规则，比单次失败更可靠。
- harness 优化建议限制在 bounded source-code edits（观测组装、动作执行、验证/恢复、终止控制），并在评估前记录预测行为效果；这样能验证行为与任务性能双重提升，降低过拟合到特定任务的风险，便于在 unseen tasks 上复用。
- 冻结 backbone 下优化 harness，再跨模型/跨环境迁移，可减少对每个新模型做 fine-tune 或 prompt 工程；电商场景中可先在成本较低模型上优化 harness，再迁移到更强闭源模型或不同产品域。
测试时 AI4AI 中面向 Agent 脚手架设计的元技能学习
🧭 Agent 元技能与执行环境构建 ★ 深度解读
Apodex · University of Illinois Urbana-Champaign
提出通过 Builder 从 Target 执行反馈学习元技能，并物化为脚手架以提升固定权重 Agent 的表现
📌 工作参考价值（4 点）
- 将“教模型解题”拆成“教构建者设计支持”：用 (when, provide, use) 三字段沉淀执行反馈中的共性失败/负担，而非只蒸馏任务技能；在电商 Agent 工作流中可用于提炼“何时需要价格/库存校验、提供什么工具、谁负责最终判断”的运维原则。
- 支持要以“可执行脚手架”交付，不要直接把同一批 skill 塞给下游 Agent：让 Builder 把元技能编译成 memory、controller、verification、工具包装等；论文中 Builder 交付比直接给 Target 平均高 12.02 个百分点，说明把语义知识转成持久状态/控制流是收益来源。
- 同一模型可同时当 Builder 与 Target，不更新权重也能通过“学会给自己搭环境”自改进；适合线上 Agent 系统在 fixed model 下做轻量自举，尤其是反复出现的协调/提交流程。
- 技能访问默认全量 bank 给 Builder，通常优于 BM25 top-2（本文 5/6 设置全量更好）；当 bank 变大再做考虑互补性的检索，并结合开发集反馈做回滚/选择性保留，避免过拟合。
AREX-2：通过长程反思任务推进自改进智能体
🧭 自改进 Agent · 长程反思训练 ★ 深度解读
Beijing Academy of Artificial Intelligence (BAAI)
用长程反思轨迹训练 27B agent，在 ML/编程及深度研究基准上逼近更大模型
📌 工作参考价值（4 点）
- 把“失败和恢复”写进训练轨迹，而不是只保留成功答案：在电商搜索/广告 agent 做 query 改写、创意优化时，可用离线仿真或历史日志构造多轮改进轨迹，保留负面反馈与后续修复步骤，loss 只施加在产生进步的动作上。
- 用 graded reward 替代 binary pass/fail：推荐/搜索中的 ranking 调优或选词不要只给“是否采纳”，可给连续指标（CTR、NDCG、转化率变化量），让每轮反馈都有信息量，延长有效迭代轮数。
- 把 operational knowledge 做成可注入的 skills：在基座模型不变的情况下，将商品类目规则、广告政策、用户意图词典等做成紧凑文档放进 context，能显著提升 agent 初始能力；实验中 base 从 28.8 到 68.2，说明业务知识注入比重新训练更便宜。
- 在线上 agentic 工作流中预留 round budget，并用 best-so-far 指标评估：例如对高价值广告计划或搜索 query，可给 agent 多次尝试与自评机会，按测试时消耗动态增加调用；但注意有效 horizon，超出 T* 后不再提升。
Designer-RSI：从用户流量中演化程序性记忆用于智能平面设计
🧭 Agent 外部程序性记忆持续进化
Adobe · Brown University
冻结大模型加外部程序性记忆持续适应，通过拓宽与深化技能库将设计智能体执行成功率从72.7%提升至99.3%
📌 工作参考价值（4 点）
- 可复用外部程序性记忆库：电商/广告场景中涉及多步工具调用的 Agent（如自动生成商品详情页、广告投放流程调整）可将常用操作流程沉淀为自然语言技能，通过执行经验自动扩充和修订，无需微调模型。
- 拓宽+深化双机制：遇到重复出现的未覆盖子任务时提取新技能（widening）；对已有技能用成功/失败轨迹对比修订（deepening），并设置匹配重放门（matched replay gate）作为自动化回归测试，确保新技能不破坏已有成功案例，可直接复用于业务 Agent 的技能迭代。
- 冻结前沿模型 + 外部记忆适应：避免频繁更新大模型权重，降低成本和风险；适合模型无法频繁重训但需要快速适应新任务流的在线系统，如搜索推荐中的 Agent 策略调整。
- 噪声反馈下的持续学习：设计任务无可靠程序化评估 oracle，但通过自动评分轨迹和真实用户 brief 仍能有效演化技能；对电商中大量弱监督/无监督反馈场景有借鉴意义。
On-Policy 蒸馏真的在蒸馏吗？从噪声教师到自改进
🧭 LLM 强化学习 · 零外部监督自改进 ★ 深度解读
Purdue University
揭示 OPD 增益主要来自抑制低概率 token 而非教师蒸馏；提出零外部监督的熵自适应负优势法 OPSA，AIME24 Avg@32 提升 263%
📌 工作参考价值（4 点）
- 在做 agent/LLM 策略后训练时，如果已使用 OPD/蒸馏提供 token 级信号，可先做噪声审计：统计 teacher 优势方向与最终 reward 不一致的比例；若噪声高，可直接对低 logp token 施加固定或熵自适应负优势，省掉 teacher forward 和 reward model，降低 off-policy mismatch。
- 对商品文案生成、query 改写等需要保持多样性的生成任务，可借鉴 OPSA 的 token 选择：只更新每个 rollout 中最低 20% log-prob tokens，避免高置信 token 的无效更新；同时在高熵位置施加更强负优势，抑制低概率 tail，保留 head 间概率重分配，防止 pass@k/多样性崩溃。
- 多轮购物导购、自动客服等需要长程推理和自我修正的 agent，可把 OPSA 作为廉价的 reasoning post-training 插件：不依赖外部 reward/hint，让模型在无标注下延长反思轨迹、提升最终答案质量；但要注意它主要重分配已有概率质量，初始策略过强或分布过尖时收益可能有限。
- 工程上可直接用 slime/Megatron 实现；无 teacher 额外 forward，训练吞吐优于 OPD，适合资源受限团队。
S3Gym：LLM 能否将自测与自评判转化为自我改进？
🧭 Agent 自改进能力评估基准
ByteDance Seed · M-A-P · TokenWave.AI
提出 S3Gym 交互基准，分离自测/自评/自改进并对比三种经验利用路径，揭示自改进受任务结构制约
📌 工作参考价值（4 点）
- 在对话式导购/搜索 Agent 中，把交互经验拆成两类：可复用策略走摘要记忆（如用户偏好规则、常见失败模式），精确状态依赖走原始历史/显式状态，避免用摘要丢失关键上下文。
- 参数更新（微调/RL）自改进不稳定且易负迁移，业务上优先用上下文/记忆注入做快速迭代，参数训练必须配套严格 held-out 环境与小流量回滚。
- 设计 agent 自改进评估时，把探索环境与线上评测分离，用可执行验证器做沙箱诊断；重点关注模型能否把反馈转化为策略，而非只看成功动作识别率。
- 对推荐/广告场景的 Agent 策略优化，先判断任务结构：规则型任务可压成规则库，状态敏感任务保留轨迹；可借鉴 S3Gym 的评估协议做离线自我改进能力审计。
CAFE：自我改进搜索智能体需要协同进化的反馈
🧭 搜索 Agent · 反馈协同进化 ★ 深度解读
Fudan University · Tencent LLM Department
提出 CAFE 框架，共享参数模型交替扮演搜索 agent 与 critic，通过在线反馈奖励整形与离线偏好优化让反馈随策略协同进化
📌 工作参考价值（4 点）
- 在搜索/推荐 Agent 中引入显式 <request_feedback> 动作，用共享 backbone 做 role-conditioned agent/critic，避免单独部署 critic 的额外开销；适合多轮商品搜索或深度信息检索 Agent，让模型在轨迹中途主动请求诊断。
- 奖励整形技巧可直接借鉴：CFE 用同一 prompt 下 call feedback 与 skip feedback 的成功率差作为请求反馈的 utility 信号，再配合 repeat penalty；feedback-aware advantage shaping 对反馈前/后 token 分开加权，避免强化错误的失败前缀，改善 RL 中的信用分配。
- 离线反馈优化用 RDPO：从 on-policy rollout 中挖掘 prefix-matched 成功/失败反馈对，用 DPO 训练反馈生成，比只用成功轨迹的 SFT 更干净，能缓解只有最终成交/转化标签导致的 outcome confound，适合业务中无逐步人工标注的场景。
- 交替更新策略值得工程化：不要固定 critic 或 agent 单侧优化，否则会 plateau；每轮 agent RL 后用最新 rollout 更新 critic，保持反馈与当前策略的错误分布对齐，可参考 100 步 RL × 5 轮的节奏。
Meta^n：通过涌现深度实现递归自我改进
🧭 递归元认知 Agent 自我改进
University of Minnesota · Seoul National University
固定元操作 Ω 并递归应用于输入，实现可收敛深度的 LLM 自我改进，在 ARC-AGI-2 唯一得正分
📌 工作参考价值（4 点）
- 可将固定元操作递归应用到多阶段推荐/搜索流水线：每层读取下层 trace 与代码，输出下一层的预处理策略和可复用 helper 库，把隐式流程知识显式化为工具和策略，便于在 query 改写、召回排序等环节复用。
- 深度由收敛决定而非预先固定，可在 Agent 规划或 query 改写中引入自评收敛，减少无效迭代；结合进化 archive 搜索层链，可迁移为对多策略组合的进化选择，适用于搜索广告出价、文案生成等场景。
- 层间 conditioning 是主要收益：把上一层的完整推理 trace 和生成代码作为下一层上下文，比仅传最终答案更有效，建议在 LLM 推理管道中传递过程性知识而非仅结果。
- 主要是通用推理 Agent 贡献，业务落地需谨慎：任务为 ARC-AGI 等通用推理，与电商推荐数据分布差异大，但固定操作+递归输入的设计可借鉴到多智能体系统的自我改进循环，避免自编辑导致的不稳定。
分层自改进：任务专用可进化 Agent Harness 框架
🧭 Agent 分层自改进与 harness 进化 ★ 深度解读
HKUST
单个冻结 LLM 通过任务 harness、evolver、meta-evolver 三层自改进，在 BALROG 上实现显著提升并揭示能力边界
📌 工作参考价值（4 点）
- 把 agent scaffold 当可进化资产：在电商/搜索推荐 Agent 中，不要只调 prompt；把 prompt、tool 编排、memory、state tracking、验证逻辑打包成 task-specific harness，按任务族（如导购、query 改写、push 文案）分别维护，并通过固定 using_harness 接口热更新。模型权重保持冻结，避免每次策略调整都重训或换模型。
- 评估 harness 迭代要防过拟合和高方差：用 held-out 任务 split 而不是全量同一批任务评估；候选版本用 LCB reward（μ - 0.5·σ/√n）排序，允许保留多分支 commit pool，最终用 validation 选择泛化最优版本。这可比直接选单次最高分可靠得多。
- 把“怎么改 harness”也变成可学习策略：meta-evolver 不是直接改任务表现，而是改 seed 选择、explore/exploit、commit 规则。对应到搜索/推荐 Agent，可以把人工的“何时探索新品/何时重启策略/如何维护版本档案”作为上层可优化策略，而不是硬编码。
- 先判断两个边界再投入：如果模型在任务上初始 reward 近零或反馈极稀疏，harness 进化收益极低（NLE 案例）。业务上应先确认有非零、可区分的 reward 信号；harness 进化只能放大既有能力，不能替代模型升级。
渐进式经验演化实现LLM自我提升
🧭 LLM自我演化 · 经验蒸馏与RL混合 ★ 深度解读
Renmin University of China · Tencent Inc.
统一显式经验演化与隐式RL优化的两阶段后训练框架，通过全局经验池萃取可迁移知识并内部化，提升数学推理与数据效率
📌 工作参考价值（4 点）
- 全局经验池与演化：在推荐或Agent中，可维护一个经验池，从成功/失败交互轨迹中抽象可复用策略（如用户偏好模式、失败原因），并定期合并、去重、演化，减少冗余和冲突经验。
- 特权引导自蒸馏(OPSD)：推荐模型在线更新时，可用历史优质决策作为特权信息构造 teacher，对当前策略进行 on-policy 蒸馏，既保留行为多样性又注入有效先验。
- 两阶段优化提升数据效率：先用经验蒸馏初始化模型，降低全部采样错误的比例，再应用 GRPO 等 RL 算法，可大幅减少无效探索，适合在线广告/推荐中低反馈场景。
- 经验效用验证机制：用探针集评估每条经验的边际收益，可过滤低质量经验；在推荐系统策略迭代中，可类似评估新增规则或策略是否带来正向增量。
AREX：递归自改进的深度研究智能体
🧭 Agent 递归自改进 · 长视野研究 ★ 深度解读
Beijing Academy of Artificial Intelligence (BAAI)
利用发现-验证不对称性，将部分验证的解递归地转化为更聚焦的研究问题，实现长视野深度研究。
📌 工作参考价值（4 点）
- 多约束查询分解与验证：电商搜索中用户需求常隐含多个约束（价格、品牌、特殊属性），可借鉴 AREX 将问题分解为约束束，通过递归验证式搜索逐条核验，避免一次性返回不满足所有条件的商品。
- 自主上下文更新工具：长对话推荐或 Agent 任务中，上下文膨胀会干扰决策。可训练模型自主调用“上下文更新”工具，将已验证的产品属性、未解决的约束及被排除的候选项压缩为紧凑状态，以替代全量历史，降低 token 成本并提升后续推理准确度。
- 关键步聚焦训练：强化学习优化推荐策略时，可标注“关键决策步”（如首次命中正确类目、修复错误搜索方向并转向），对它们施加额外的奖励塑形或集中训练，避免奖励信号被大量常规步庸稀释，显著提升长路径任务成功率。
- 双层循环架构：对于需要持续改进的生成式推荐（如营销文案生成、动态选品策略），可引入内循环产出草稿，外循环按置信度审核并针对性优化未满足的约束，实现可控的、以验证驱动的自我改进，而非无序重试。
共识作为特权上下文实现无标签自蒸馏
🧭 无标签自蒸馏 · 共识锚定 ★ 深度解读
ILLC, University of Amsterdam · ILCC, University of Edinburgh
用多票共识充当特权上下文，将投票信号转化为逐token的密集监督，替代RL并接近带标签蒸馏
📌 工作参考价值（4 点）
- 在无标注的推理场景（如电商搜索对话/商品理由生成）中，可通过采样多个回复、多数投票提取共识答案，将对应的高置信回复作为教师上下文进行自蒸馏，实现无黄金答案的模型提升
- 采用JSD散度进行全词表分布蒸馏，比硬标签SFT保留更多信息，且能利用非共识rollout中的差异信号，适合处理模糊或长尾输出
- 冻结教师快照，避免共享参数训练时迅速崩塌的问题，是低成本稳定蒸馏的关键工程技巧
- 一次采样同时获得投票结果和蒸馏数据，训练仅一个epoch，在精度-计算量前沿上显著优于TTRL等RL方案，适合资源受限的线上业务快速迭代
Agon: 竞争式跨模型强化学习，隐式对手评分提升推理能力
🧭 Agent 竞争训练增强推理
Independent Researcher · thinkdense.ai
让两个模型互为评分者，通过竞争性RL隐式判断推理质量，无需过程标签，大幅超越GRPO
📌 工作参考价值（4 点）
- 多模型互为评分的训练范式可直接用于对话Agent或推荐解释生成：用一个模型生成，另一个模型评估，交替优化，无需人工标注过程质量。
- 在搜索推荐场景，可让生成式推荐模型与排序模型互相竞争，前者生成item，后者判断合理性，奖励机制为是否比对方更准，潜在提升推理链的实用价值。
- 训练时形成的两阶段级联可直接部署：推荐系统可让轻量模型快速草稿再由精排模型修正，兼顾效率与质量。
- 竞争双方仅需相当实力且行为差异，无需完全对称，启发我们用不同架构或偏好模型进行对抗训练，避免单模型自举的偏差放大。
层次实验型智能体：通过主动实验进行上下文自我改进
🧭 LLM Agent主动实验与技能学习
University of Massachusetts Amherst
LLM通过主动实验动态学习可复用技能库，在未见物理任务中成功率从2%提升至77%
📌 工作参考价值（4 点）
- 新场景主动探索机制：在推荐或广告系统中，面对新用户群体或新品类时，可借鉴 HExA 的分层实验设计——高层规划探索方向（如尝试不同召回策略），低层执行具体干预并记录结果，形成可复用的“技能”模板（如特定人群的优惠券推送策略），避免盲目 random AB test。
- 在线学习技能库：将推荐系统优化过程抽象为“技能”（如某类 CTR 提升技巧），每次实验后的成功策略存入上下文技能库，下次类似场景可直接组合调用，类似 HExA 的 learn_from_experience，减少重复探索成本。
- 跨场景技能迁移：HExA 从简单物理任务中学习的技能可零样本迁移到困难任务（44% 成功率）。在推荐中，可在一个小流量域（如新频道）学到的有效策略（如冷启动物料组合方式）迁移至主域，降低冷启动成本。
- 上下文技能组合：HExA 通过上下文学习将实验产生的技能组合成复杂策略，业务中可用类似思路将多个简单推荐规则（召回、过滤、排序规则）作为可组合的“技能块”，Agent 根据当前场景动态拼接，无需重新训练模型。
通过假设树精化实现通用自主研究框架
🧭 自主研究 · 假设树精化 · 分层 Agent 协作 ★ 深度解读
Renmin University of China · Microsoft Research
提出 Arbor 框架，用持久协调器与孤立执行器配合假设树精化，把长期研究转化为累积性探索与验证
📌 工作参考价值（4 点）
- 复杂 Agent 任务的持久状态管理：Arbor 将多步探索组织成一棵假设树，每次实验的结论和约束向上抽象传播，可以作为电商/推荐场景中连续 A/B 实验、策略迭代的状态记忆方案，避免仅靠对话历史丢失关键因果。
- 分层决策与隔离执行：Coordinator 负责全局策略与树更新，Executor 在独立 worktree 中实现单条假设并返回结构化证据。这种分离可用于多智体商品选品 / 生成式推荐流程——策略 Agent 规划方向，执行 Agent 独立测试文案或召回路线，结果写回共享记忆，隔离失败污染。
- 基于证据的搜索前沿控制：树的 Select/Prune/Merge 决策不只看指标，还结合祖先洞察、兄弟节点结果，类似多臂 Bandit 的树形版本。在自动化推荐排序策略搜索或 prompt 工程中，可借鉴这种结构化探索，利用失败实验反向约束后续假设生成。
- “开发-测试”门控防止过拟合：Arbor 严格区分开发反馈与最终准入，只有提升 held-out 评估的候选才被合并。做离线推荐算法优化时可复用此思想：将历史数据切分为探索集和验证集，避免代理在开发集上投机取巧，保证线上泛化。
OmniGameArena：统一UE5游戏VLM Agent评测与改进动态曲线
🧭 VLM游戏Agent评测·自我改进曲线 ★ 深度解读
The University of Hong Kong · LIGHTSPEED · The Chinese University of Hong Kong · Tsinghua University
12款自建UE5游戏构建多模式Agent评测，IDC反射框架揭示自我改进轨迹与技能迁移规律
📌 工作参考价值（4 点）
- IDC的反射框架可直接复用到业务Agent自我优化：自主工具调用（Explore/Diagnose/Validate/Distill）+ 有限工具面（只读、诊断、验证、写入），无需人工脚本，能自动从失败轨迹中提炼改进的skill prompt。电商推荐Agent（如选品策略、投放文案优化）可采用类似多轮反思循环，持续迭代策略自然语言描述。
- Best-skill rollback 防止灾难性遗忘：当新一轮 skill 导致分数断崖下降时，自动回滚到最佳历史 skill 并继续反思，保证非单调改进环境中的稳定性。在线上策略自动演进中可借鉴，避免劣化版本持续生效。
- 源任务改进 ≠ 迁移能力的实验发现警示业务只盯着主任务指标：GPT-5.5在主任务上改进最小，但迁移到所有变体均正向；Opus 4.7主任务改进巨大，但迁移全负。电商多场景下应定期用 held-out 场景检验策略的泛化性，避免陷入过拟合单一环境的“安全策略”。
- 多智能体协同的评测设计：PvP矩阵和Coop零和结果暴露了模型间的非传递优势（如Kim K2.5击败Claude但在Solo中弱），可为多Agent电商系统（如议价、库存博弈）的对手建模与角色分配提供评测范式。
无监督技能发现驱动的自主数据分析代理
🧭 Agent 技能发现 · 无监督对比蒸馏 ★ 深度解读
Zhejiang University · Ant Group
DataCOPE从无标注探索轨迹中利用自适应检查表与答案一致性自我提炼可复用数据分析技能，无需人工标注
📌 工作参考价值（4 点）
- 无监督技能迭代方案可降标成本：利用代理探索轨迹的自洽性、答案聚类或自生成检查表作为质量信号，结合对比蒸馏更新技能，尤其适合电商场景中报告自动生成、客服问答等任务，避免高成本人工标注。
- 报告评估：自适应检查表与交替优化：对于商品分析报告、广告文案等开放性输出，可引入Checklist Agent动态生成任务相关评估准则并与生成代理交替优化，防止过拟合，提升输出完备性。
- 推理任务：答案聚类 + 自洽性辅助筛选：在处理固定答案的电商问答、候选推荐时，通过答案聚类形成群体信号，辅以自洽性估计过滤错误一致，可有效发现稳定推理模式。
- 技能粒度需平衡通用与专用：实验表明过粗或过细的技能颗粒度会损害效果，为业务线构建Agent技能库时应先评估任务多样性再划分技能类别。
学习构建环境：通过可验证环境合成实现自我进化的推理强化学习
🧭 Reasoning ★ 深度解读
Tencent
提出EvoEnv，让语言模型自行构建可执行环境以提供稳定且随能力动态校准的奖励，将自改进从数据生成循环转为环境构建循环