MindMemOS：可移植自演化的 AI Agent 记忆操作系统
🧭 Agent 记忆操作系统与自我演化 ★ 深度解读
Noah's Ark Lab, Huawei Technologies
提出实体-属性-时间三维记忆结构与四类自演化机制，实现可移植、自演化的 Agent 记忆层
📌 工作参考价值（4 点）
- 用户画像与偏好演化：借鉴 3D entity-property-time 结构，把电商/推荐场景中的用户、商品、偏好事件建模为实体、属性、时间线，支持偏好变更、冲突版本管理与时序推理。相比纯文本记忆，更适合追踪用户兴趣漂移（例如 LOCOMO 的 temporal/multi-hop 问题）。
- 离线记忆压缩与冲突解决：Dreaming 机制把线上增量写入造成的冗余、过期、冲突记录离线合并、归档并保留 provenance。在推荐/广告场景可用于定期压缩用户行为记忆，保证活跃记忆库不过度膨胀，同时保持检索质量（论文中 AMCR 约 20%，准确率反升）。
- 隐式反馈分类与记忆修正：将用户对 Agent 的纠正按持久性分为 task-temporary / scenario-specific / long-term，避免把一次性指令写入长期记忆。电商导购、对话式推荐中可据此捕获用户隐含偏好与约束，减少重复推荐错误，尤其适合处理“这次不要”、“以后都这样”等模糊纠正。
- 轨迹驱动的技能演化：MindSkillEvolve 将 Agent 执行轨迹提炼为可复用、版本化的技能，可通过 unsupervised 或 score-guided 方式持续改进 SOP。可迁移到客服/导购 Agent 的流程能力迭代：用真实对话与任务执行日志自动总结高效策略与失败模式，生成可回滚的技能版本。
自进化编码代理综述
🧭 Agent 自进化机制与框架
Nanjing University of Science and Technology · Nanjing University
系统综述自进化编码代理，定义概念并提出对象为中心的演变分类法，分析软件工程的天然演进特征与挑战。
📌 工作参考价值（4 点）
- 记忆驱动的推荐策略优化：借鉴编码代理利用历史轨迹复用经验的方法，推荐Agent可记录用户反馈（点击/转化/停留）和推荐上下文，构建可检索的记忆库，在下一次相似场景中直接复用成功策略，减少重复探索成本。
- 工具使用的在线自适应：推荐Agent集成多种工具（如搜索API、用户画像查询），可监控工具调用成功率与业务效果，自动调整工具选择策略或微调调用参数，实现工具链的自进化。
- 反馈驱动的提示词在线更新：将A/B测试或在线指标作为反馈信号，自动优化Agent链路中的提示词（如召回、排序、文案生成），形成闭环自进化，避免人工调参滞后。
- 多Agent协作的动态分工：在多智体系统中（如广告竞价、多目标推荐），根据全局收益定期调整各Agent的权重或协作模式，类似编码代理更新协作结构，实现整体效率演进。
SERPO：面向开放式测试时强化学习的自演化评分标准策略优化
🧭 测试时强化学习 · 评分标准自演化
Huazhong University of Science and Technology · University of Science and Technology of China · Alibaba Group
提出自演化评分标准闭环，替代答案投票，实现开放式文本生成下的测试时强化学习，无需外部奖励
📌 工作参考价值（4 点）
- 自演化评分标准（G‑N‑B 响应进化 + 评分标准进化）可在无外部奖励的条件下构建自我评估系统，适用于电商文案生成、搜索词推荐等开放式场景，自动产生质量评分并迭代提升生成质量。
- 测试时自我进化闭环（采样→构建评分标准→评分→更新策略）可部署为线上模型的持续微调组件，例如用于推荐系统中的 query 改写或商品描述优化，全程无需人工标注。
- 概率化评分标准（将判定 token 的似然转化为奖励）提供了一种轻量、可解释的 reward 建模范式，可直接迁移到 Agent 决策链的自我改进，降低对昂贵奖励模型的依赖。
- 跨基准迁移进化结果表明该方法对不同领域分布有良好泛化性，可启发多任务推荐模型在无监督下自适应新品类或新场景。
用于代理强化学习的自我演化在线策略蒸馏
🧭 自我演化技能蒸馏 · 代理强化学习
Tsinghua University · Zhejiang University · The Chinese University of Hong Kong · Nanyang Technological University · Tongji University
SEED通过从在线轨迹提取后见之明技能并蒸馏为密集token级信号，弥补了结果奖励与token策略之间的监督鸿沟
📌 工作参考价值（4 点）
- 在训练对话式推荐或工具使用 Agent 时，可从在线轨迹自动提取成功模式/失败规则，蒸馏回策略，缓解稀疏奖励问题
- 用当前策略作为技能分析器实现自我演化，辅助监督与策略分布同步更新，避免离线方案中的分布偏移
- 技能增强的分数重计算（概率偏移）作为密集的 token 级蒸馏信号，可与 RL 损失联合优化，无需额外人工标注
- 提升模型在未见场景的泛化能力，对搜索推荐 Agent 处理长尾查询或复杂对话有一定参考价值
DataEvolver：文本丰富图像生成的自进化多智能体数据构建
🧭 自进化数据飞轮 · 多智体协作
Central South University · The Hong Kong University of Science and Technology
将数据构建建模为反馈驱动的策略演化，利用拒绝样本的失败信号迭代改进，显著提升文本图像生成质量
📌 工作参考价值（4 点）
- 借鉴“拒绝样本有价值”的理念：在推荐/搜索的样本标注或数据清洗中，错误样本不仅该丢弃，其错误原因可被结构化记录并反馈到后续的数据采集策略中，减少同类错误反复出现。
- 多 Agent 分工模式可迁移到数据飞轮工程：Retriever（数据采集）、Verifier（质量评估）、Critic（汇总语义洞见）、Generator（合成补缺）分别对应数据链路的采集、质检、归因分析和合成增强，可直接指导推荐系统训练数据管线的设计。
- 利用 LLM 做 Critic 进行语义级反馈总结，可以帮助发现数据分布的覆盖盲区，例如在商品文案生成或搜索词推荐中，自动识别未充分表达的语义类型，并触发针对性合成或采集。
- 迭代构建框架本身是轻量的：不需要改变下游模型结构，只改变数据供给方式，适合在现有推荐模型训练流程中嵌入实验。
提问、求解、生成：基于自洽奖励的自我进化统一多模态理解与生成
🧭 自我进化 · 统一多模态理解与生成
Mohamed bin Zayed University of Artificial Intelligence · Aalto University · Australian National University · Linköping University
仅用无标签图像，通过内部提问-求解-生成的自洽信号同时提升多模态理解与生成能力的自进化框架
📌 工作参考价值（4 点）
- 无标注自训练范式：利用自洽奖励信号（问答一致性）微调多模态模型，大幅降低电商商品图文理解/生成任务的标注成本，适合海量未标注商品图片场景。
- 熵引导的难度课程：Solver Token Entropy（STE）可作为连续难度指标，在模型训练中实现自适应课程学习，优先选择信息量大的样本，提升训练效率与稳定性。
- 多尺度生成评估：组合问答保真度评分与循环一致性描述的内部评估方案，可迁移到商品图生成的质量自动评分，无需人工审核。
- 架构无关的设计模式：角色分解与奖励逻辑在不同生成架构（扩散/整流流/自回归）上即插即用，方便接入现有多种多模态模型底座。
RewardHarness：自进化智能体后训练框架
🧭 Agent 自进化奖励建模
University of British Columbia · Vector Institute · Kuaishou Technology · Carnegie Mellon University · University of Waterloo
将奖励建模从权重优化转为上下文进化，用少量样本自动演变工具技能库，实现高数据效率评估
📌 工作参考价值（4 点）
- 用少量人工标注（100 条）即可引导 Agent 自主迭代进化评估标准，大幅降低构建评价模型的成本，可借鉴到电商多模态内容（商品图/视频）的 automated evaluation 或 RLHF reward signal。
- Orchestrator + Sub-Agent 的推理链架构，通过选择工具和技能来构建判断逻辑，类似可应用于推荐系统中排序策略的评判或解释生成，提升可解释性与可干预性。
- 自进化工具库的维护方式（分析成功/失败案例后增删改工具）提供了 Agent 持续学习的工程范式，可以迁移到多智体协作场景，让评估 Agent 随着业务迭代自动适配新准则。
- 冻结子模型配合技能库的思路，让 API-only 模型也能参与 reward modeling 的迭代，对使用闭源大模型做判断的业务有参考意义。