自进化编码代理综述
🧭 Agent 自进化机制与框架
Nanjing University of Science and Technology · Nanjing University
系统综述自进化编码代理，定义概念并提出对象为中心的演变分类法，分析软件工程的天然演进特征与挑战。
📌 工作参考价值（4 点）
- 记忆驱动的推荐策略优化：借鉴编码代理利用历史轨迹复用经验的方法，推荐Agent可记录用户反馈（点击/转化/停留）和推荐上下文，构建可检索的记忆库，在下一次相似场景中直接复用成功策略，减少重复探索成本。
- 工具使用的在线自适应：推荐Agent集成多种工具（如搜索API、用户画像查询），可监控工具调用成功率与业务效果，自动调整工具选择策略或微调调用参数，实现工具链的自进化。
- 反馈驱动的提示词在线更新：将A/B测试或在线指标作为反馈信号，自动优化Agent链路中的提示词（如召回、排序、文案生成），形成闭环自进化，避免人工调参滞后。
- 多Agent协作的动态分工：在多智体系统中（如广告竞价、多目标推荐），根据全局收益定期调整各Agent的权重或协作模式，类似编码代理更新协作结构，实现整体效率演进。
Agent强化学习中的持久一致性自我蒸馏
🧭 Agent强化学习·自蒸馏一致性
Beijing Institute of Technology · Meituan · Institute of Automation, Chinese Academy of Sciences · Tsinghua University
通过教师信号局部持久性计算token级权重，联合GRPO缓解Agent稀疏奖励问题
📌 工作参考价值（4 点）
- 在电商/对话搜索Agent的RL微调中，可采用稠密token级蒸馏信号缓解稀疏奖励，利用PCSD的持久一致性权重降低教师噪声。
- 生成式推荐中蒸馏大模型输出时，可借鉴持久一致性思想评估各token的可靠性，用于知识蒸馏中的动态权重分配。
- 自适应窗口与指数衰减聚合捕捉局部支持趋势的做法，可迁移至用户行为序列建模或Agent轨迹中的注意力权重设计。
- 联合GRPO与蒸馏目标的多任务训练范式，为推荐Agent提供了一种平衡探索与利用、兼顾环境反馈与教师引导的优化思路。
AURORA-LM：连续潜在扩散语言模型的自动编码统一表示
🧭 连续潜在扩散语言模型 ★ 深度解读
PRLab, Nanjing University · S-Lab, Nanyang Technological University · Imperial College London
解耦表示与生成，用高容量可解码连续潜在空间实现高质量文本扩散
📌 工作参考价值（4 点）
- 解耦表示与生成：在电商推荐/搜索中可训练一个连续潜在编码器（如物品描述、查询意图），冻结后单独优化扩散生成模型，降低耦合，灵活调优。
- 高容量潜在保留信息：使用高维连续潜在向量表示商品或查询，利用低秩噪声输入瓶颈（如 \(D_b=128\)）减少扩散模型计算，同时保留全宽解码质量，适合平衡效果与效率。
- 噪声分配校准：根据潜在维度调整训练时的噪声水平分布，对高维潜在侧重高噪声样本，改善生成多样性，可用于推荐文本生成或搜索词推荐中控制多样性-质量权衡。
- 自轨迹一致性：在扩散推理时通过相邻步预测一致性正则化，显著提升少步（如 16 步）生成质量，降低线上推理延迟，利于实时生成场景。
不做能力之外的事：LLM技能选择的确定性执行门控
🧭 Agent 技能路由 · 确定性执行门控 ★ 深度解读
Wix
在LLM技能路由中，用技能内部退出条件做确定性过滤，避免推荐不可执行的技能，节省59%的上下文token并减少7.8%的错误选择
📌 工作参考价值（4 点）
- 在LLM工具选择/技能路由pipeline中，将语义相关性与执行可行性解耦：先用recall-oriented的语义检索召回复候选，再通过确定性代码检查业务状态（如用户权限、账户配置）过滤不可执行的技能，可大幅减少prompt中技能描述token（本案例减少59.1%）并降低模型选择不可用操作的风险。
- 门控谓词应直接复用技能内部的退出条件（exit conditions），通过工程手段保持与技能逻辑的parity，而非训练一个分类器；这样在谓词等价且状态一致的前提下，过滤掉的技能必定无法成功执行，可避免“虚假过滤”。
- 需建立谓词生命周期维护机制：当技能逻辑变更时，同步更新门控谓词，并用回归测试确保parity；监控门控决策与实际执行结果的一致性，防止谓词漂移或状态陈旧导致过block或漏block。
- 对电商/推荐Agent（如导购助手、客服），可将此思路应用于过滤不可操作的商品/服务（如缺货、无权限、不满足优惠条件），避免LLM生成无法兑现的推荐，提升信任度和任务完成率。
DAPD：双锚点策略蒸馏缓解特权幻觉
🧭 On-policy 蒸馏训练 · 特权幻觉缓解 ★ 深度解读
Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory · University of Science and Technology of China
识别 OPSD 中信息不对称为特权幻觉根源，提出双锚点蒸馏框架 DAPD，在多个任务和尺度上大幅提升性能。
📌 工作参考价值（4 点）
- 信息不对称对齐思路：电商推荐中 teacher 模型常用用户序列等额外特征，student 却无，可构造自条件中间分布作为桥梁，添加无特权信息的对齐损失（类似 Inference Anchor）来抑制幻觉，防止模型依赖不可见信号。
- 双源引导设计：在 Agent 策略蒸馏时，利用 teacher 轨迹（参考解）提供正确性监督，同时用 student 自身 rollout 提供可达性指导，通过 DSA 动态平衡两者权重（较小模型更多信任参考，较大模型更多信任 rollout），可迁移到多臂老虎机或排序策略的学习中。
- 工程技巧复用：DAPD 使用 detached teacher 与共享 snapshot 减少训练开销，且仅在训练时引入额外分布而不增加推理成本，适合用于在线推荐系统的模型蒸馏。
- 尺度适配策略：实验发现模型越大，从自身 rollout 获取的引导越有价值，可据此设计自适应的 source 权重调度，在推荐模型随业务增长时自动调整 teacher–rollout 信任比例。
DeepVoyager-VL：长程多模态循环视觉搜索框架
🧭 多模态Agent · 视觉增强搜索
PKU · HKUST(GZ) · NUDT · OUC · HITSZ
通过多模态事件图合成中间视觉依赖的推理数据，训练Agent主动获取视觉证据驱动多轮搜索。
📌 工作参考价值（4 点）
- 借鉴事件图驱动的数据合成范式，为电商搜索构建包含多轮视觉对比（如商品图、评价截图）的长链推理训练数据，训练具备中间视觉依赖推理能力的搜索Agent。
- 主动视觉获取与按需图像加载设计，可降低多模态搜索Agent在实际应用中的计算开销，适合淘宝等大型商品图像索引场景。
- 纯SFT微调（无需RL）即可显著提升多模态搜索能力，实现简单且稳定，适合业务快速迭代。
- 视觉在循环中的交互模式可迁移至电商导购：通过用户上传的图片逐步澄清需求，动态驱动下一轮检索或提问。
GradCuit：通过信用分配梯度流实现鲁棒可解释的测试时潜在推理
🧭 LLM 测试时潜在推理优化
NLCo Lab, Beijing Institute for General Artificial Intelligence · Institute of Automation, Chinese Academy of Sciences · School of Artificial Intelligence, Beijing University of Posts and Telecommunications · School of Artificial Intelligence for Science, Peking University
在 Transformer 层插入可优化隐状态，利用因果注意力将奖励梯度直接赋予隐状态，提升推理精度与鲁棒性
📌 工作参考价值（4 点）
- 测试时在线优化机制：在 Agent 多步推理或推荐流程中，可以在不更新模型参数的前提下，为每个样本动态优化一组中间隐状态，类似于为当前上下文“微调”表示。这对搜索推荐中实时适应用户意图、处理长对话状态有参考价值。
- 信用分配直接化：GradCuit 的奖励加权梯度直接回传至隐状态，无需通过序列解码展开。在电商多轮对话或步骤反馈奖励（如用户点击）的场景下，可借鉴这种直接对中间表示做梯度更新的思路，替代复杂的强化学习估计。
- 工程实现简单且超参数鲁棒：该方法只需在某一层插入可训练向量，训练过程稳定，对学习率不敏感，甚至随机游走变体也有效。对于需要低延迟在线优化的系统，这种低超参敏感性的方法易于工程落地。
- 可解释性可视化：通过梯度归因可以分析哪个 token 或哪一层对最终决策影响最大，这可用于调试策略、排查推荐解释或优化 prompt 设计，在需要强可解释性的业务场景中有潜在应用价值。
基于强化学习的渐进式 Agent 技能生成
🧭 Agent 技能生成 · 强化学习 ★ 深度解读
The Chinese University of Hong Kong · LIGHTSPEED · Independent Researcher
用 RL 将技能生成为局部编辑序列，以 rollback reward 提供信用分配，显著超越基于流水线或启发式的方法
📌 工作参考价值（4 点）
- 技能编辑的局部评估：rollback reward 对每个编辑步骤进行锚定查询下的前后对比，避免依赖文本流畅度评估，可直接迁移到推荐 Agent 的策略迭代中，用下游 A/B 效果替代人工规则。
- 渐进式技能构建：将长文档或大量经验分解为逐步编辑，适应电商 Agent 的增量学习场景，如促销规则更新、用户反馈积累。
- 统一多源证据：同一框架同时处理文档和执行轨迹，可用于混合知识源（如商品描述、用户日志）生成统一的推荐策略。
- 动作空间设计：CREATE/UPDATE/MERGE/PRUNE/NOOP 的编辑动作集可直接作为 Agent 技能库维护的元操作，用于自动优化搜索竞价策略模板或客服话术集。
LongHorizon-Harness：将长期执行重构为任务状态管理问题，大幅提升长程代理性能
🧭 长期任务代理 · 任务状态管理 ★ 深度解读
DreamX Team, Alibaba Group
通过管理-执行-审计（MEA）循环显式维护任务状态并独立审计，在 WeaveBench 上将完成率从 51.8% 提升至 80.7%
📌 工作参考价值（4 点）
- 在电商搜索/推荐的多步代理任务（如复杂购物助手、多轮商品对比）中，可引入 MEA 架构：经理根据用户意图分解子任务，执行器在干净上下文中完成（如检索、对比），审计员独立验证执行结果，防止错误累积导致后续决策偏离。
- 显式任务状态与执行上下文分离的技巧，能有效避免长对话/操作历史带来的上下文遗忘问题，适合需要维护用户画像、购物车等中间状态的对话式推荐代理。
- 独立审计机制可应用于广告投放优化、商品批量上架等需多步验证的业务流程，确保每一步操作结果符合预期后才更新全局状态，提升流程可靠性。
- AgentAdapter 的设计表明可以通过轻量适配层统一接入不同的 LLM 或工具后端，便于在生产中灵活切换模型和底层执行引擎。
Search-GRT：用 ground truth 引导检索训练，提升搜索 Agent 多跳问答能力
🧭 搜索 Agent 强化学习训练优化 ★ 深度解读
Samsung Electronics AI Center-Mountain View
在 RL 训练中利用 ground truth 约束检索候选集，提供更强学习信号，多跳 QA 性能提升超 40%
📌 工作参考价值（4 点）
- 利用业务 ground truth 缩小检索空间以提升 RL 训练效率：在电商搜索或推荐多跳推理场景，若拥有用户点击/购买日志等强相关 item 集合，可构造受限检索池，集中训练信号，缓解早期稀疏奖励问题。
- 将“检索约束”作为课程学习策略：在复杂 query 改写或对话式推荐训练初期，用已知正确文档或商品限制候选范围，待 agent 学会提取有效子 query 后逐步放开，类似 GRT 仅在训练时约束，推理时仍用全量索引。
- 借鉴 GRT 的奖励设计：基于答案绝对匹配的 0/1 奖励简单高效，结合检索准确率与最终答案准确率的监控，能快速诊断 agent 的检索与合成短板。
- 工程实现上可复用文本嵌入相似度构建受限语料：用业务中已有的 query/商品/文档 embeddings，基于 ground truth 答案或关键信息，动态选取 top-k 相似文档作为训练时的检索池，无需额外标注。
世界建模向何处去：面向持续进化智能体的交互式世界代理
🧭 Agent 世界代理与持续进化框架 ★ 深度解读
Shanghai AI Laboratory · Zhejiang University · National University of Singapore
将世界模型重构为以智能体为中心的世界代理，通过六种功能形式和三个赋能级别驱动智能体持续改善
📌 工作参考价值（4 点）
- 在推荐/搜索智能体中，可构建记忆代理（检索用户历史行为序列）、执行代理（模拟点击后页面状态）、奖励/验证代理（评估推荐内容的安全性或满意度），在推理时增强上下文（L1），或在训练时提供奖励/批判信号（L2）。
- 将世界代理定义为信息转移而非物理状态预测，设计可查询的反馈接口：例如，智能体在生成推荐理由前，可向验证代理查询“该理由是否合规/存在风险”，代理返回验证结果，避免直接线上试错。
- 借鉴 L3 代理-智能体共同进化：线上真实用户反馈（点击、停留、转化）持续更新世界代理（如刷新记忆库、调整风险模型），并将更新后的知识蒸馏回推荐策略，实现持续在线学习。
- 工程上采用模块化代理设计：每种代理（动力学、空间、执行、记忆、技能、奖励）独立维护，通过统一的信息转移接口为智能体提供反馈，便于迭代和扩展。
视觉对齐的图像编辑跟随建议：三阶段学习框架
🧭 多模态 query 推荐 · RL 对齐 ★ 深度解读
Alibaba Qwen Business Unit · Southeast University
三阶段框架结合人工意图、点击偏好与源-目标视觉验证，将视觉不一致率从3.7%降至0.9%，在线CTR提升32.70%
📌 工作参考价值（4 点）
- 位置感知点击偏好对：利用点击建议仅与上方未点击建议配对，减少展示位置偏差，适合任何有曝光顺序的推荐场景（如电商搜索推荐）。
- 多目标GRPO优化：组合点击偏好、格式有效性、PPL、内容感知长度、列表内多样性五维奖励，使用动态文本侧权重调整长度与多样性压力，可迁移至生成式推荐列表的强化对齐。
- 图像优先源-目标验证：将编辑指令拆解为所需源（必须存在）与目标（不应已满足），分步检查视觉条件，可作为多模态Agent的动作校验器，避免幻觉推荐。
- SFT数据构建流水线：从真实会话与人工意图表中用大模型生成候选，再经多级验证形成监督信号，解决了缺乏推荐标签时的冷启动问题。
SKT：通过验证合成数据训练语言模型使用Agent技能
🧭 Agent技能合成数据训练 ★ 深度解读
Shanghai Artificial Intelligence Laboratory
提出SKT数据合成流水线，通过多阶段验证生成可执行任务与忠实轨迹，SFT后模型技能利用率显著提升。
📌 工作参考价值（4 点）
- 技能化业务逻辑：将电商搜索/推荐中的查询改写、过滤规则、策略编排等模块封装为“Skill”，用SKT流水线自动生成大量可验证任务与执行轨迹，训练模型掌握这些原子操作及组合使用。
- 验证驱动的数据质量：借鉴其规则验证器+代理验证器+难度控制的多层验证框架，尤其技能依赖性检查（有技能 vs. 无技能评分差），确保合成数据的正确性和技能依赖性，避免低质量数据损害模型原有能力。
- 跨工具框架复用：混合来自不同Agent harness（如DeepAgents、OpenCode）的轨迹训练单一模型，可实现一个模型在多种交互协议（如REST/WebSocket、自建Agent框架）上复用，降低多端维护成本。
- 技能覆盖与扩展性：SFT收益随训练技能池规模单调上升，可规划技能库的增量扩展路线，通过持续合成更多技能数据逐步提升模型的复合技能使用能力。
搜索、检查、提取：利用结构化布尔检索提升深度研究智能体
🧭 搜索智能体 · 结构化布尔检索与选择性获取
The University of Queensland · CSIRO
SIEVE 通过布尔查询语言实现网页结构感知的按需抓取，较传统全文检索减少 20-50% 上下文 Token 并提升准确率
📌 工作参考价值（4 点）
- 在电商搜索 Agent 或多轮导购场景，可借鉴结构化字段过滤：仅提取商品标题、关键属性或指定评论片段，避免整页全量输入 LLM，大幅节省 Token。
- 实现类 BQL 的轻量查询接口，让 Agent 通过约束式语法精准筛选候选（如“标题含‘夏季’且价格低于 100”），提升检索意图对齐度。
- 先检索列表展示结构化摘要（inspect），再按需提取详情（fetch）的模式，适合需要从大量商品中逐步筛选的对话式推荐 Agent，有效控制上下文长度与成本。
- 该方法与底层检索器（BM25/向量检索）及 LLM backbone 解耦，可快速集成到现有搜索推荐系统的 Agent 管道中，工程实现成本低。
Tevatron集成Megatron：学术预算下的专家并行LLM重排序训练
🧭 LLM重排序 · 专家并行高效训练 ★ 深度解读
University of Utah · University of Waterloo · The University of Queensland · Carnegie Mellon University · University of Virginia
为Tevatron重排序工具包引入Megatron训练后端，通过专家并行实现30B MoE重排序器训练，同时保持HF兼容。
📌 工作参考价值（4 点）
- 在资源受限下训练大规模MoE重排序模型：利用Megatron的专家并行（EP）将MoE层的专家分布到多个GPU，仅激活少量专家，可在两台8×H200节点上训练Qwen3-30B-A3B（30B总参，激活约3B），突破PyTorch FSDP1不支持EP的限制。
- 加速训练并保持部署兼容性：Megatron后端在推荐配置（TP=2/DP=4）下比FSDP1全分片快约22%，且训练产出可直接加载为Hugging Face checkpoint，无缝接入vLLM等推理引擎，部署零转换成本。
- LoRA适配MoE时注意目标模块划分：使用命名目标组注册表（如指定moe_experts、moe_shared，冻结router），避免盲目适配全部128个专家FFN或遗漏关键层，这是LoRA在MoE重排序中不严重掉点的关键工程trick。
- 蒸馏训练可离线标注教师分数：将教师分数预计算存入数据集，训练时无需加载教师模型，节省显存和计算量；蒸馏与对比学习在不同数据集上各有优势，可根据业务场景灵活选择，并在重排序任务中简化训练管线。