从交互到能力：以任务推进为状态与监督的 GUI 智能体记忆
🧭 Agent 任务状态与经验记忆 ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou) · Shandong University
将已验证任务进展作为在线状态与离线监督，从跨应用长程任务中学习可复用操作
📌 工作参考价值（4 点）
- 在电商导购/任务型 Agent 中，把用户已确认的约束（预算、尺码、偏好、收货地址）作为 verified task progress 绑定到剩余决策节点，后续只推进依赖已满足的目标，避免跨商品页/订单页重复询问。
- 从成功与失败的会话中抽取「局部有效操作」作为可复用算子：定义入口输入、期望结果、验证条件，例如「给定尺码+偏好筛选候选商品」或「根据地址+支付方式完成下单」，即使整单未成交也能沉淀有效环节供后续会话复用。
- 区分 draft/attempt/confirmed：在推荐流程中只把「加入购物车」「提交订单」等强确认信号作为状态更新依据，不把生成过程或中间点击误判为已完成结果，减少错误状态对后续决策的污染。
- 借鉴 Evidence Cache 和按依赖召回：为多轮推荐对话缓存商品详情图、用户历史 SKU 属性等结构化证据，按剩余需求的 input dependencies 按需读取，降低上下文 token 并提高信息可用性。
一种动作多种表达：面向长程智能体的效应边际策略优化
🧭 Agent 强化学习策略优化 ★ 深度解读
Tianjin University · Fudan University · Renmin University of China
提出 EMPO，对执行等价响应共享长度归一化策略比率，消除信用-更新错位，提升 GRPO/GiGPO 长程任务效果和效率
📌 工作参考价值（4 点）
- 在结构化动作的 Agent 训练里（工具调用、搜索词改写、推荐解释生成），可以把执行等价但文本多样的响应分组成 effect cell，共享长度归一化的 likelihood ratio，减少文本措辞差异对策略梯度更新的干扰；GRPO/GiGPO 可直接加这个 ratio sharing，无需额外 critic/rollout。
- 长度归一化要保留：跨不同生成长度的响应直接聚合 full-sequence ratio 会让长响应主导 shared ratio；用 exp(1/T Σ log r_t) 能校准 token 级尺度和 PPO clip。
- 与 credit assignment 解耦：EMPO 只用原始 advantage，不在 advantage 侧做聚合，方便叠加 SALT/GraphGPO 等更精细 credit estimator；clip 下 ratio-sharing 比 advantage-aggregation 更稳，WebShop GiGPO 提升更明显。
- 若线上动作空间是自然语言 query/推荐文案，需要先有 canonical effect parser；无结构化 parser 时 coverage 会低，建议先从可枚举 action 的 agent 场景验证。
Sage-A1.5：以能力编排与验证驱动长程执行和科学探索
🧭 Agent 编排与验证优化 ★ 深度解读
Shanghai Artificial Intelligence Laboratory
35B MoE 智能体模型，通过 Agentic Orchestration 与 Agentic Verification 实现并行子智能体协作与自校正，在多项长程任务上超过更大模型
📌 工作参考价值（4 点）
- 并行子智能体 + 隔离上下文 + 结构化反馈可用于电商导购/搜索 Agent：将复杂 query 拆成候选召回、评价证据、价格趋势、竞品对比等子任务并发执行，每个子 agent 独立搜索并返回 answer/evidence/unresolved_issues/status，主 agent 再做冲突消解与覆盖检查，避免单线程长上下文噪声累积。
- 在长程购物参谋或搜索任务中引入内建验证：当连续多轮检索无新增信息或需要形成关键结论时，让模型在推理中显式区分“已证实事实/未验证假设/仍缺失信息”，并据此切换搜索方向；用 Verification protocol: enabled 这类条件提示按需激活，不依赖外部 verifier。
- 训练框架上，窗口化交互 RL 适配电商 Agent 的延迟转化反馈：把多轮搜索、比较、生成推荐到最终点击/转化的长交互按中间结果切成窗口共享奖励，降低 step-level 奖励噪声；同时采用 outcome+process mixed supervision，减少对昂贵人工标注的依赖。
- 合成可验证任务时，将任务构造、审核、评判分离到不同 agent，避免同一个模型出题又评分导致 reward hacking；推荐/搜索 Agent 的任务也可以用 sandbox + deterministic grader 做自动化质量门禁。
Self-Credit：通过组内重标定实现长程智能体 RL 的信用分配
🧭 Agentic RL 信用分配与上下文压缩 ★ 深度解读
Meta · New York University · Duke University
让策略模型在压缩上下文时引用关键轮次，再用同 prompt 成功/失败样本的组内对比重标定引用权重，将稀疏结果奖励转化为轮次级信用信号
📌 工作参考价值（4 点）
- 在长程 search/导购 agent 训练中，可让模型在上下文压缩时输出带轮次索引的摘要引用（要求 2-5 个 critical turns），用这些引用把统一广播的 advantage 改成轮次级加权；只需 prompt 格式约束和格式错误惩罚，不引入额外 reward model 或 critic。
- 对同一 query 的 group rollout，可按 action 的检索结果（docid 或商品 ID 集合）做 Jaccard 匹配，统计该 action 在成功/失败样本中的引用频次：只在成功侧重复出现则提权，只在失败侧重复出现则加重负优势，混合出现则取消提权。这能把“伪相关 action”从正样本中剔除，适合电商多跳搜索、商品对比、策略推荐等长程任务。
- 对重复失败的惩罚权重做线性退火（如 1.5→1.0），早期强惩罚抑制低效搜索，后期放松以保留探索，可平衡长程 agent 的工具调用效率与深度。
- 若无 gold action 标注，可用“检索到目标商品/金标文档”作为代理评估引文质量，计算 cited turns 的 F1，快速判断自生成引用是否有用。
自动化科学机器学习：前沿 Agent 能否在真实场景中攀登科学之丘
🧭 科学ML自动化智能体评测与增强 ★ 深度解读
Anthropic Fellows Program · Anthropic
构建AGENT4SCI科学ML测试床，前沿Agent在20个基准上平均相对提升10.4%，加技能后达20.1%，提升主要来自工程技巧而非科学洞见
📌 工作参考价值（4 点）
- 三阶段隔离评测可直接迁移到广告/推荐的自动调参或 Agent 实验平台：让“跑实验的 Agent”看不到评估集，由独立评估 Agent 打分、审计 Agent 查作弊，可避免测试集泄漏和指标操纵。
- 在长时 AutoML 任务中加入“每小时自检”checklist，强制 Agent 回答“当前是否只在调 seed/lr”，可有效防止早收敛到局部超参搜索；电商/推荐模型调优可显式限制纯超参调优轮次，要求周期性提出新结构/新特征。
- research ideation 用夸张 persona + 文献挖掘引导提出更有领域结构的方法；在搜索/推荐中可让 Agent 先挖内部业务文档和公开论文，再提出具有业务/物理约束的辅助损失或架构调整，而不仅是换 backbone。
- 显式 experiment management 指令（并行实验、避免 CPU/GPU 争抢、实时监控）能显著提升长时任务效率，适合 12 小时级推荐模型重训或特征回放实验。
可控数据升格 + 联合 RL/在线蒸馏的长程多模态搜索智能体
🧭 多模态搜索 Agent 训练 ★ 深度解读
Peking University · HKUST(GZ) · Tsinghua University · The University of Hong Kong · Huawei Cloud BU
用可控问题升格与联合 RL/在线蒸馏，把易题变难、难轨迹变可学
📌 工作参考价值（4 点）
- 可复用的问题升格框架：Expand/Blur/Visualize 把已有简单 VQA 或搜索日志升级为长链、实体消歧、跨模态证据任务；电商场景可把“这是什么商品”改写成多跳品牌/历史/场景链，并要求买家秀或商品图反搜验证，提升训练数据难度。
- 难度与质量双筛选：先用直接答案探针过滤参数化捷径，再用专家 rollout 的 Pass@k 评估难度并分池；业务上可先易样本 SFT，再难样本 RL，减少奖励噪声和人工标注成本。
- RL 训练中加入行为惩罚与 token 级 OPD：只对失败或不完美轨迹启用在策略蒸馏，教师信号按 reward gap 加权，并指数衰减 λ；这比纯终局奖励更稳定，适合搜索/推荐 Agent 的 RLVR 训练。
- 监控行为经济性：训练后期 tool call 和 response length 下降但答案奖励不降，说明可先鼓励长程探索、后收紧效率；在线上 Agent 优化中可用同样指标做早停。
TreeFlex：让 Agent 自主导航搜索树的树形搜索框架
🧭 Agent 策略引导的树搜索与 RL ★ 深度解读
Meta AI
TreeFlex 让同一 LLM 在 Reflection 与 Execution 间切换，自主选择保存的中间状态继续搜索，并用树感知 GRPO 训练，在深度研究和 SWE 上显著超越 ReAct 与 FoldAgent
📌 工作参考价值（4 点）
- 对于多轮推荐/搜索 agent，维护一个显式状态树（候选 query、商品集合、对话状态），让模型自己决定回溯或分支，可避免线性上下文被低质量探索路径污染。工程上可以像 TreeFlex 一样用“卡片”摘要表示节点，Reflection 角色只看摘要选点，Execution 角色只加载所选路径的详细上下文，既省 token 又保留全局视野。
- Tree-aware GRPO 的训练方式值得复用：把一次树搜索视为一个 rollout，每个输出只在其生成时的上下文上计算损失，而不是拼接所有分支后训练，这样能避免训练与推理分布不一致，且无需树形 attention mask。这对任何多路径决策 RL（如对话策略、搜索链路优化）都适用。
- 过程惩罚设计（如失败调用 -1、超出当前指令范围的操作 -0.2）比单纯最终奖励更能约束 agent 行为；业务上可以针对推荐 agent 的无效工具调用或偏离当前用户意图的探索给予轻量负奖励，避免盲目分支。
- 资源效率：TreeFlex 用更多推理换取准确率，但在相同采样数下优于重复采样 baseline；因此，在允许高延迟的场景（如深度研究型推荐、复杂用户意图解决），增加可控分支回溯比单纯增加样本量更有效。
WorkRover：通过递归环境演化训练长程 Cowork Agent
🧭 长程 Agent 环境演化与信用分配训练 ★ 深度解读
Fudan University · East China Normal University · Renmin University of China · Shanghai Qiji Zhifeng Co., Ltd. · Shanghai Innovation Institute
提出 WorkRover 框架，用递归环境演化与 Verifier 进度信用分配提升长程 cowork agent 训练，多个基准大幅超过基座
📌 工作参考价值（4 点）
- 环境构建可借鉴 Harness 思路：在电商 Agent 任务平台里，把“上下文 / 任务 / 校验器”作为同一版本包管理，校验器必须绑定证据并接收 valid alternatives；这样能减少“任务生成与评测脱节”导致的错误奖励。
- FCR 的最小修复 + 组合回放适用于线上工作流配置变更：对 query 改写、推荐策略或工具配置做修改时，冻结原 intention / eval 规则，枚举少量组件修复组合，用固定种子回归验证，选最小可验证变更而非全量重生成，降低误伤。
- VTCA 的 turn 级信用分配可直接迁移到长链路搜索 / 推荐 Agent：用确定性 workspace / 结果检查器计算每步可观测进度，不做中间 LLM Judge；通过工具输出或产物版本依赖决定哪些前置查询 / 读取步骤分享奖励，能缓解多跳检索、对比决策中的 sparse reward。
- 训练数据 pipeline：SFT 用大模型生成轨迹 + 验证，RL 前先对 task-verifier 做一致性筛选，再保留少数高质量对，适合在电商业内部署低成本后训练。
匹配上下文分组策略优化用于 LLM Agent 训练
🧭 LLM Agent 强化学习 · 长程信用分配 ★ 深度解读
Imperial College London · University of Science and Technology of China · Meituan · Tsinghua University
通过匹配任务进度与状态构造加权动作偏好，提升长程 LLM agent 稀疏回报下的信用分配
📌 工作参考价值（4 点）
- 利用任务规则提取可观测的 rubric progress（如已匹配属性、价格满足、页面状态）作为状态补充，与 state summary 联合定义动作比较上下文，避免因进度差异导致信用错配；在电商导购 Agent 中可借鉴：用已完成步骤（搜索、详情、加购）标注状态，减少不同会话阶段的错误对比。
- 从有限日志或 rollout 数据构造动作偏好时，采用 opposite-fold 交叉标注：一半数据提取候选动作，另一半估计结果证据，降低自相关偏差；适用于从历史会话日志生成离线策略优化信号。
- 根据支持样本数动态缩减偏好权重（n/(n+κ)），防止小样本高方差偏好主导训练；在业务中构造 session-level 偏好对时，可对低支持度的对比自动降权，提高训练稳定性。
- 无需 critic 模型，只附加一个 weighted pairwise objective 即可接入现有 PPO/GRPO 流程，保留原始历史上下文；便于在已有 Agent 训练框架上增量实施。
WORKFORGE：从真实资源构建可验证长程工作智能体环境
🧭 Agent 长程工作环境合成与训练 ★ 深度解读
Tencent · Fudan University
提出 WORKFORGE，从真实工作资源合成可验证环境并生成训练轨迹，大幅提升长程智能体能力
📌 工作参考价值（4 点）
- 业务中构建 agent 训练/评测环境时，优先使用真实业务文件（报表、素材、SOP、数据表等）而非 LLM 合成，保留真实噪声和跨文件依赖，能显著提升 agent 在真实任务上的泛化。
- 采用「专家 workflow blueprint → 资源检索 → workspace profiling → 任务+验证器生成」流水线，把专家经验变成可复用模板，批量产出带隐藏解法和双验证器的训练样本。
- 用 workspace 可观察事实锚定任务规格与验证标准，避免 LLM judge 产生无依据的评分要求；轨迹筛选时混合 programmatic + semantic 分数，优于单一验证。
- 数据量和交互轮数均呈现 scaling 收益：优先收集长轨迹（41-60 轮 > 0-20 轮），训练序列长度放至 256K 并保留每轮 assistant loss；训练与评测 harness 对齐可带来额外提升。
RunningTab：环境侧标签页实现直接工作区交互
🧭 Agent 环境侧任务追踪
KAIST · DeepAuto.ai
为 LLM agent 直接操作工作区文件引入环境侧任务台账，记录需求、已读摘录与未打开候选，防止交付遗漏
📌 工作参考价值（4 点）
- 在多步文档/商品库 agent 任务中，把“需求跟踪”从 prompt/context 外置到环境侧。每个需求一个状态，记录证据来源（例如商品 ID、文档 chunk、文件路径）和未打开的检索候选，避免生成时丢信息。
- 借鉴 finish check：在 LLM agent 输出最终推荐/报告前加一个环境侧校验，若仍有 open requirements 未匹配到证据，强制回补或显式标记放弃，降低漏召回。
- 对 listing 结果中未打开的文件/商品保留候选列表，按与需求的匹配度排序；这类似搜索/推荐中的“曝光未点击”信号，可辅助二次召回和解释。
- 若用 DWI 模式做企业 workspace 的 RAG，可把每次 read 自动抽取 excerpt + provenance 存成环境侧条目，支持 agent 多次引用和审计，不依赖长上下文。
FC-SWE：面向长程软件工程智能体的失败条件强化学习
🧭 Agent 强化学习训练 · Failure-Conditioned RL
NVIDIA · Tsinghua University
引入失败条件 RL 框架，将失败补丁与验证反馈作为恢复轨迹上下文，SWE-bench Verified Resolved@1 从 GRPO 的 38.9% 提升至 41.7%
📌 工作参考价值（4 点）
- 失败反馈作为条件上下文：在电商搜索/推荐 Agent 中，可以把用户负反馈、工具调用失败或验证不通过的结果作为后续恢复轨迹的输入，训练模型主动修复而非重新独立采样，提升多轮交互成功率。
- Trajectory-local rewards：将每次尝试的验证结果单独作为奖励，避免恢复成功错误归因到之前的失败补丁，适合多轮对话或工具调用中每轮独立评估的场景。
- Active-set advantage estimation：只把同一 issue 下实际执行的初始和恢复轨迹纳入比较组，排除未执行的轨迹，可迁移到变长、条件依赖的轨迹训练，改善 GRPO 在复杂 Agent 任务中的优势估计。
- 测试时扩展尝试次数：训练只用最多两次尝试，但测试时用 11 次尝试 Resolved@11 达 70.7%，说明部署阶段可以配合验证器多次尝试，显著提升最终解决率。
无状态语言智能体：扩展长程自动化研究
🧭 长程 AutoResearch 无状态多智能体框架 ★ 深度解读
Stanford University · Carnegie Mellon University · University of Washington · SambaNova Systems · UC Berkeley
无状态 Agent + 有状态 harness：每次调用重建角色化上下文，用更少 token 实现更强长程搜索
📌 工作参考价值（4 点）
- 构建长程 Agent 系统（自动实验、策略搜索、query 迭代等）时采用“stateful harness + stateless agents”：候选、分数、日志放外部状态，每次调用只注入角色相关摘要，不要让 agent 携带完整历史滚动，避免 context rot 和 token 浪费。
- 对规划者与执行者做角色化上下文隔离：中央规划者看全局结构化 evidence summary，执行单元只看自己的 assignment、本地候选和反馈。搜索推荐 Agent 里可对应“策略器”与“渠道/实验执行器”，减少互相干扰和重复实验。
- 给执行单元显式任务分配，而不是只共享记忆；论文 ablation 显示没有 assignment 时并行 Workers 会重复实现同一功能。多 Agent 做选品、文案、素材生成时，应由 coordinator 把“该试什么”变成具体实验。
- 评估 Agent 系统至少按多个 token 预算点报告；短预算可能逆转方法排名。内部评估搜索/推荐 Agent 如果只跑短预算，很可能选错架构。协调器可以非常便宜（<0.6% tokens），强 Advisor + 弱 Worker 在部分任务上更划算。
ASCENT：通过验证经验自蒸馏实现在线测试时训练长程智能体
🧭 Agent 在线测试时训练 · 自我蒸馏验证经验 ★ 深度解读
University of New South Wales (UNSW Sydney)
用冻结初始模型将验证成功的轨迹蒸馏为 LoRA 软目标，使长程 Agent 在单次任务流中稳定在线进化
📌 工作参考价值（4 点）
- 在线学习方案：在对话式导购/客服/智能投放等长程 Agent 场景，可以用冻结 base 模型 + LoRA 快权重持续训练。每次成功会话（成交/点击等强验证）做一次自蒸馏，失败跳过更新，无需 replay buffer，工程成本低。
- 特权信息构造：将成功会话的动作有效部分（排除 parse 失败或环境未执行的动作）与推理文本保留，去掉 observation（按模型规模调整），作为 teacher 的 hindsight 上下文。教师看到完整成功轨迹后产生全词表 soft target，学生只在当前 prefix 学习，可减少冗余 detour 动作、提升 turns 效率。
- 蒸馏目标选择：用 forward KL 匹配全词表分布，而不是最大化生成 token 概率或 REINFORCE 梯度；这能抑制策略对自身输出的过拟合，避免熵崩溃和无效动作增加，尤其适合单条轨迹在线流。
- 与 in-context memory 互补：小模型可能被检索记忆干扰，可单独用权重更新；大模型可以叠加 retrieved memory 与 ASCENT 权重，形成 co-evolution。动作有效性过滤可免费从环境响应中解析得到，可作为轨迹清洗信号。
超越记忆：用显式信念状态驾驭长程智能体
🧭 长程 Agent 信念状态维护与恢复 ★ 深度解读
Nankai University · Alibaba Group · Tsinghua University
提出 PoS 框架，通过显式信念状态、一致性验证与卡住感知恢复提升长程 LLM Agent 表现
📌 工作参考价值（4 点）
- 在电商/搜索/推荐场景的 Agent 中，用 Entity-State-Relation 结构化信念替代原始轨迹摘要，把“仍需知道什么”（epistemic gaps）和“仍需完成什么”（achievement gaps）分开显式维护，作为每步 action selection 的上下文，避免长会话中状态混淆。
- 引入独立 Belief Sentinel 校验模块（可用同一 LLM 角色分离），在每次信念更新后检查内部一致性（如冲突的实体状态）和外部一致性（与新 observation 是否矛盾），显著降低错误状态污染后续决策的风险。
- 对多轮交互 Agent（商品导购、售后诊断、搜索会话）增加“卡住检测”：监控窗口内 gap persistence、progress stagnation、belief recurrence 三个信号，一旦检测到 Belief Trapping，按动态模式（static/cycle/drift）和 gap 类型注入恢复约束，如抑制无效动作、强制获取判别证据或制造目标状态变化。
- 注意成本均衡：信念维护会增加总体 token 成本，但能降低 Task Agent 的无效 token 消耗和提升成功率；实际业务可先用轻量校验器、缓存信念或降低更新频率，在关键长程任务中开启完整机制。
AgentWorld：面向多智能体 LLM 长程协作的基准评估
🧭 多智能体长程协作评测基准
OpenAgents · Columbia University · University of Pennsylvania · Seoul National University · Penn State University
提出AgentWorld长程多智能体协作基准与CCE因果协作指标，最佳模型任务成功率仅52.0%
📌 工作参考价值（4 点）
- 多智能体业务链路（如营销活动生成、选品+文案+投放协作）不要只靠聊天历史维持长程计划；应引入显式共享计划/看板/JSON 状态，每轮或每阶段强制更新，否则 50+ 轮后计划会漂移。
- 评估智能体流水线时引入 CCE 式因果追踪：记录各 agent 的 action 及其依赖关系，区分对最终结果有因果贡献的步骤和“忙忙碌碌但无效”的动作；可用于优化 planner-retriever-ranker/推荐解释链路中的资源分配。
- 在角色非对称的多 agent 系统中，角色混淆是主要失败源；通过 role-specific system prompt、独立工具权限和结构化输出约束来减少越权/重复劳动。
- 长时任务需要 memory 管理：对共享状态做定期摘要或 checkpoint，并在关键节点触发 re-plan；否则 LLM 在长上下文/多轮中容易丢失早期目标。
工业推荐系统长程自主模型研究：AgentX-Model 双智能体框架
🧭 Agent 多智体协作优化 ★ 深度解读
Kuaishou
双智能体分隔提案规划与实验执行，以四类研究动作持续迭代推荐模型，实现工业场景长程自主研究
📌 工作参考价值（5 点）
- 可采用「提案规划 Agent + 实验执行 Agent」双上下文隔离：Research Agent 只看摘要、diff、测量汇总，不加载全部训练日志；Model Agent 专注代码与训练调试。适合把已有实验平台改造成长程自动迭代。
- 实验归档必须保存每轮最佳实现而非只存最后版本：业务中 48% 的多轮实验最后轮低于中间最佳；保留 round-specific diff、evaluation context 和诊断观察，可让后续实验直接复用最佳起点。
- 评估要同时报告 business baseline、direct parent、strongest ancestor 三个增量，避免把继承上游增益误判为新方案贡献；对推荐模型迭代平台尤其重要。
- 任务调度先用固定轮转（Reproduce/Follow-up/Composition/Diagnose）+ Agent 候选选择即可，复杂 Bandit/Joint 不一定带来稳定效率提升；工程上可先落地简单规则。
- 业务校准问题（如广告 PCOC 偏差）应先做 Diagnose 实验收集证据，再设计修复，不要直接调大损失权重；论文实验显示通过统计校正因子可降低 22% 以上误差且保留排序增益。
记忆即计划：基于记忆接地规划的世界-动作建模
🧭 Agent 长程记忆与计划执行解耦
MaP-WAM 将长期记忆转化为稀疏视觉上下文与语言计划，由固定上下文执行器遵循，取得 RMBench 83.3% 成功率
📌 工作参考价值（4 点）
- 在需要长用户历史的推荐/Agent 场景，可借鉴“记忆即计划”：把长时间跨度的行为序列压缩为若干关键帧（或代表性 item 特征）+ 高层意图，供 planner 生成下一步计划，而非让 executor 每次都读全量历史。
- 计划与执行分离：规划器可以处理长历史并生成轻量计划，执行器只接收固定长度上下文和当前计划，结合 progress 预估实现自适应切换，在线推理延迟与历史长度解耦；结构化注意力支持 KV cache 可进一步降低重复规划成本。
- 对电商视觉/短视频推荐，如果任务依赖细粒度视觉证据，语言摘要会丢失信息，可保留用户最近强交互的视觉特征帧作为稀疏长期记忆，而不是仅存文本标签。
- 但这是机器人操作领域，所提 WAP 和进度对齐机制较复杂；直接迁移到推荐/广告需要简化：progress 可类比用户状态/会话阶段，可改造为 session 切分与 memory refresh 信号。
T1：面向长程任务的终端Agent强化学习
🧭 终端Agent强化学习与MoE稳定训练 ★ 深度解读
Tencent Hy Foundation Model Frontier · National University of Singapore · University of Georgia · Indiana University · University of Maryland, College Park
122B MoE终端Agent靠RL在Terminal-Bench 2.1达64%，用TITO+R3稳定训练与密集验证奖励
📌 工作参考价值（4 点）
- MoE 训练-推理一致性：对大规模稀疏模型，记录推理时每个 token 的专家路由掩码并在训练时重放（R3），同时让训练直接消费采样时的 token ID 而非重新渲染文本（TITO），可消除训练-推理 log-prob gap，避免梯度更新到错误的专家子网络。对推荐系统中带 MoE 的排序或召回模型同样适用。
- 密集奖励设计：用绝对通过断言数而非通过比例作为 RL 奖励，并固定全局尺度（S=20），保留不同难度任务/用户价值差异。在电商多目标 RL 中，可借鉴“绝对达成数”作为奖励，避免归一化掩盖长尾或高价值任务。
- Critic warm-up 与健康度监控：先在有监督数据上预热 critic 一个 epoch，设置 critic 学习率为 actor 的 30x，并用 explained variance（全局方差约减）持续监控。冷启动 critic 可能导致 EV 为负，大幅拖慢 RL 收敛。
- 数据质量审计防 reward hacking：用 LLM 对训练任务做语义审计，硬拒绝隐藏需求、测试泄漏、解决方案捷径、verifier 过弱等。在推荐/Agent 任务构造中，可复用该流程过滤低质量或可被刷分的训练样本。
MeClear：基于合作博弈归因与风险感知记忆清除的长程 LLM 智能体框架
🧭 LLM Agent 长期记忆清理与归因
Fudan University · Beijing Institute of Technology
用合作 Shapley 归因识别负效用记忆并做最小化清除，任务恢复率 82.3%，比 LOO 高 25.5 个百分点
📌 工作参考价值（4 点）
- 在电商/Agent 长期用户记忆（偏好、历史行为）中，不要只按 embedding 相似度检索；可以对候选记忆做留一法或 Shapley 效用归因，识别“语义相关但实际降低决策质量”的记忆后再过滤。
- 对于多证据交互产生的冲突或冗余，单条删除往往不敏感，可借鉴采样 Shapley 分摊效用，定位需要同时抑制的记忆组合；工程上适合离线/近线计算，避免在线高成本。
- 采用“暂态清除”而非永久删除：查询级最小清除 + 清除后上下文验证任务恢复，避免污染持久记忆库，便于线上 A/B、审计和回滚。
- 可抽象成 memory gate/scrubber 模块：在 RAG/Agent memory 召回后、拼入上下文前加一层 risk-aware memory clearance，保持召回 recall，同时提升下游稳定性和任务完成率。
DRACO：动态评分标准驱动的长程智能体细粒度信用分配
🧭 Agent 强化学习 · 步骤级信用分配 ★ 深度解读
Carnegie Mellon University · IBM Research
DRACO 在 outcome-blind 设定下动态生成轨迹级 rubric，并把单标量奖励闭式重分配到步骤级优势，用于长程工具智能体 GRPO 训练
📌 工作参考价值（4 点）
- 在没有程序化 verifier 的客服、策略执行等业务场景，可用动态 per-trajectory rubric 代替 ground-truth 成功信号：judge 根据任务指令和每组 rollout 生成 criteria，只保留组内有人失败的 criteria（discriminative dropout），并用 pass/(pass+fail) 得到 outcome-blind 奖励；避免静态 rubric 训练早期就饱和丧失区分度。
- 把 GRPO 的 trajectory-level advantage 按 judge 标注的 responsible steps 做闭式重分配：step quality Q_j=p_j/(p_j+f_j)，winner 加权 Q_j、loser 加权 1-Q_j，每个 step 的总贡献正比于 quality 而与 token 长度无关，sum 守恒且 sign 保持。这个方法不需要额外训练 attribution 模块，可直接迁移到长程 Agent RL 的步骤级信用分配。
- 成本敏感时可以用策略模型自己当 judge，配合 thinking enabled 和 k=3 一致投票，训练 judge 成本约降 5.1 倍（$1607→$316），仍接近或超过 verifier-trained 性能；分析表明 self-judge 的 lenient 错误比 strict 错误对 GRPO 更新危害小。
- 业务关注稳定完成率时，应报告 pass^k 而不仅是 pass@k：DRACO 的 TGC p3/p1 retention 明显高于 p1/pass@3，说明它主要提升重复尝试的成功一致性而非单纯发现能力。
电商运营基准：评估长程自主业务运营的 LLM Agent
🧭 Agent 长程运营评测基准 ★ 深度解读
Qwen Team, Alibaba Group · Taobao & Tmall Group, Alibaba Group · HKUST
首个开源电商运营基准，融合确定性谈判、动态事件与真实数据，评估 LLM Agent 全年自主经营的多维能力
📌 工作参考价值（4 点）
- 确定性对手内核：在评估谈判/交互 Agent 时，将对手定价、让步、接受/拒绝逻辑做成确定性规则内核，LLM 只负责语言渲染，避免对手模型随机性污染评估；业务中训练电商谈判机器人的奖励函数也可用此分离增强可复现性。
- 现金流延迟与破产约束：采用银行/托管/钱包三账户和 9 天结算延迟，能暴露 Agent 只追求 GMV 而忽视流动性的问题；在电商运营 Agent 或推荐系统收益模拟中，加入类似延迟结算和破产惩罚可避免短视策略。
- 信息不对称工具设计：让查询返回标签（如高/中/低利润潜力）而非具体参数，迫使 Agent 通过探索和结果推断学习，而不是直接读取底层数据；在构建智能运营助手时，可有意隐藏部分系统参数，训练模型做因果推断和试错。
- 多维评估雷达图：不要只用利润/GMV 作为唯一指标，应同时评估欺诈损失、现金流回撤、运营效率（每工具调用产出）、学习能力（重复采购降价趋势）；在选型推荐/运营 Agent 时建立类似能力画像，否则可能选到高利润但高风险模型。
FM-Bench：长期管理竞争 Agent 评测基准
🧭 LLM Agent 长期管理评测基准 ★ 深度解读
AnalogyAI
15 个前沿 LLM 在 20 年共享足球管理世界中评测，结果由可解释管理行为而非模型规模与 token 消耗决定
📌 工作参考价值（4 点）
- 把记忆管理作为 Agent 能力来评测：业务中若采用“每次决策点新会话+自维护 notebook”的模式，可将 notebook 连续快照的 TF-IDF 余弦相似度作为记忆健康度指标，警惕 append-only（>0.9）和完全重写（<0.25）两种失效；不要把长期上下文截断/摘要交给 harness 隐式做，否则评测分数部分反映的是脚手架而非模型。
- 奖励函数要显式反囤积与末期衰减：FM-Bench 对超额现金按 0.3 计入净资产，且正分乘 ρ=(t/T)^1.5，迫使 agent 权衡“安全持有现金”的隐性机会成本；电商/广告预算分配中同样可以给闲置预算或过时策略加递减折扣，防止 agent 永远选局部安全动作。
- LLM 无法从数百次拒单中学会市场真实价格（中位 30 次报价才成交 1 次）：在竞价/谈判 Agent 上，应显式给模型维护一个可查询的 bid-ask 历史或先验价格分布，而不是只把 rejection 当反馈；Solo 与 Arena 的行为对比（出价频率 0.5→4.6/季）说明策略强度需按对手自适应。
- 上线前做共享经济体评测：固定对手的 solo 榜第一会形成 dynasty，但 Arena 中冠军在 10 个模型间轮换、卫冕只成功 2/19，说明反自适应环境能揭示策略真实韧性；推荐/流量分配策略也应放入多个 Agent 争抢同一批库存/用户预算的共享仿真，而非仅做静态 A/B。
SkillGate：训练长程 Agent 的策略内技能选择
🧭 Agent 技能选择 · 信用分配 ★ 深度解读
Shanghai Jiao Tong University · Xiaohongshu Inc.
识别选择器信用饿死问题，分离执行与选择 token 信用通道，将 9B 策略成功率从 40.8% 提升至 53.2%
📌 工作参考价值（4 点）
- 在电商搜索/Agent 场景中，当 LLM 在长对话里选择 query 改写、营销话术或工具时，不要把最终成交 reward 直接广播到全部 token；应将“选择 token”（如 query 或 skill 名）与“执行 token”的 loss mask 分离，避免下游执行失败反向惩罚正确选择（对应论文中 selector credit starvation）。
- 对选择动作构造局部信用：仅当轨迹中唯一选择为 oracle（正确 query/skill）时给 +1，否则给 0，并在同一 prompt group 的候选动作上做 group centering，去掉标准差归一化；这比给整条轨迹加分、或只奖励第一次正确选择更有效（可参考消融表 2）。
- 工程上可用 token span 标注 identity 区域，并在 mask 构建/分片/loss 三处断言两个 credit channel 的 support 不相交；对 selector channel 做长度无关重加权，使每个 credited action 的总权重恒为 N/M，避免长轨迹稀释关键决策。
- 业务上不要过度依赖外部 router/reranker：论文显示路由准确不等于下游成功，训练策略内部选择能力可同时降低交互成本（读更少技能、更少 turn）和上下文成本（按需加载 vs 预加载 k 个候选）。
超越最终分数：面向长时域 AI 研究与开发的智能体系统性评估
🧭 Agent 长时域任务过程评估与经验复用
Meituan · University of Chinese Academy of Sciences
通过过程化指标与受控对比，评估 7 个前沿模型在 36 个长时域任务上的行为，发现当前智能体更像工程优化器而非自主研究者
📌 工作参考价值（3 点）
- 评估 Agent 不能只看最终指标，应监控 Solution Framing、Execution、Feedback Control 三个过程环节，定位瓶颈是方案设计、代码执行还是反馈调整，再针对性优化。
- 经验复用是把双刃剑：成功经验可能误导后续决策，建议在 Agent 记忆模块中加入相似性门控或置信度过滤，避免盲目复用历史方案。
- Harness 设计（提示模板、工具接口、实验环境）会显著影响表现稳定性，在业务中上线 Agent 前需隔离变量做 A/B 测试，避免将平台差异误判为模型能力。
AutoDesign：面向长程智能体设计的元 Harness 优化
🧭 Agent 长程任务与元 Harness 优化
Meituan · MBZUAI · Huazhong University of Science and Technology · Peking University · Tsinghua University
提出元 harness 优化框架，让 code agent 基于 rollout 反馈递归改进设计 harness，在海报生成任务上超越商业系统 7.45 分
📌 工作参考价值（4 点）
- 借鉴 meta-harness 分离设计与执行：把 agent 的 prompt、工具调用、流程编排等封装成 harness（代码/配置文件），由一个上层 optimizer 分析 rollout 反馈对 harness 做可版本化修改。业务中可对推荐对话 Agent、创意生成 Agent 做同样抽象，支持快速迭代和跨任务复用。
- 用低成本长程探索 + 自动评估驱动自我改进：AutoDesign 40 分钟、$3 执行 253 次工具调用和 11 次编辑，说明 agentic 创意生成可以做到量产成本。可迁移到电商 banner/商品主图/广告素材生成，先构建轻量自动评估指标（如图文匹配、布局密度）进行离线筛选，再人工验收。
- 建立任务专用 benchmark 与 mini 子集：PosterBench 用 100 篇论文主赛道 + 10 篇 mini 控制评估，业务上可仿照建立自己的素材/设计质量基准，覆盖多类目、系统盲评，避免只调 prompt 却没有可比较的离线指标。
- 多模型配置下的一致性增益：在 7 种 code-agent-model 配置中引入学习到的 DesignHarness 平均提升 12.4 分，说明好的 harness 具有跨模型迁移性；在选型 LLM 时可以把 harness 优化作为关键层，而不是只换模型。
持久递归世界实现自主软件演化
🧭 持久递归世界 · 多智能体协作
The Hong Kong Polytechnic University
提出以持久化项目而非持久化 Agent 为核心的递归多智能体框架，实现长程软件自动开发与演进
📌 工作参考价值（4 点）
- 把长期任务的“记忆”外置到项目版本/制品，而不是塞进单个 Agent 的上下文：电商选品、活动策划、自动调参等长时间运行 Agent 可让 worker 只持有局部上下文，验收后写回版本库，避免上下文膨胀与错误累积。
- 递归委派 + 按路径拆分：搜索词/文案/商品策略可按类目或子域递归拆解，子 Agent 只做局部变更，上层合并验收，便于并行和回滚。
- 验收驱动的版本推进：推荐/广告策略改动只允许通过离线评测或小流量验证的“后果”合入版本历史，形成可审计、可复现的实验资产。
- 成本敏感的长程任务可用廉价快速 LLM 跑大量 episode：本工作 120 小时/1000+ episodes 仅 44 美元，适合批量生成候选 query、商品卖点、广告文案等。
Qwen-CUA：纯视觉原生计算机操控，大规模迭代训练攻坚长程任务
🧭 原生计算机使用Agent · 大规模RL+迭代训练 ★ 深度解读
Qwen Team · Xlang Lab
仅凭截图与键鼠的原生计算机使用Agent Qwen-CUA，在八大基准上全面超越Qwen3.7并媲美GPT-5.5与Claude Opus 4.8
📌 工作参考价值（4 点）
- 可验证交互式训练范式可迁移至电商/推荐Agent：构建4万可验证任务 + 云端近10万vCPU并发环境完成大规模RL训练，该思路可直接用于训练电商商品操作用户界面Agent、客服流程自动化Agent。
- 长上下文视觉管理trick值得直接复用：保持20张活跃截图 + 每10步折叠旧截图，既保留近期视觉证据又维持前缀稳定以改进KV缓存重用，可迁移到需要长步骤的购物引导、商品浏览、多页面操作场景。
- 迭代式数据刷新与RL任务校准：每轮用当前模型分析失败案例，针对弱领域补充SFT数据、重校准RL任务（仅保留有提升空间的样本），可应用于推荐策略Agent的渐进式优化，避免过度重复无效训练。
- 混合动作空间（GUI操作+Bash命令）：实验证明混合操作能大幅缩短交互轮次，对电商自动化（如批量商品上下架、价格调整）可直接借鉴，但需注意当前模型的路由策略尚未完美，可配合显式路由监督提升实用性。
DeepVoyager-VL：长程多模态循环视觉搜索框架
🧭 多模态Agent · 视觉增强搜索
PKU · HKUST(GZ) · NUDT · OUC · HITSZ
通过多模态事件图合成中间视觉依赖的推理数据，训练Agent主动获取视觉证据驱动多轮搜索。
📌 工作参考价值（4 点）
- 借鉴事件图驱动的数据合成范式，为电商搜索构建包含多轮视觉对比（如商品图、评价截图）的长链推理训练数据，训练具备中间视觉依赖推理能力的搜索Agent。
- 主动视觉获取与按需图像加载设计，可降低多模态搜索Agent在实际应用中的计算开销，适合淘宝等大型商品图像索引场景。
- 纯SFT微调（无需RL）即可显著提升多模态搜索能力，实现简单且稳定，适合业务快速迭代。
- 视觉在循环中的交互模式可迁移至电商导购：通过用户上传的图片逐步澄清需求，动态驱动下一轮检索或提问。
CompactionRL：基于上下文压缩的强化学习训练长程智能体
🧭 长程Agent强化学习与上下文压缩
Tsinghua University
提出CompactionRL，联合优化任务执行与上下文压缩，使LLM智能体从压缩长轨迹中学习，显著提升长程编码任务性能
📌 工作参考价值（4 点）
- 多轮对话推荐/搜索Agent的上下文压缩训练：可借鉴CompactionRL思路，让推荐Agent在交互中自主生成紧凑的对话历史摘要，代替人工设计的截断或固定压缩模板，通过强化学习优化压缩质量和任务完成度的平衡，提升长对话下的推荐准确率和用户满意度。
- 联合损失的Token级归一化设计：在处理多目标强化学习（如推荐准确性与解释性文本生成）时，可采用token级别的损失加权，根据序列长度动态调整不同损失项的权重，避免长文本损失主导训练，适用于训练同时生成推荐理由和结果的Agent。
- 跨轨迹广义优势估计（GAE）：当训练数据包含多个不同推荐会话（轨迹）时，可借鉴跨轨迹GAE的技巧，更稳定地估计优势值并分配信用，改善大规模离线RL训练的效果。
- 推理阶段的上下文压缩部署：训练得到的自主压缩能力可简化在线推理，使推荐/搜索Agent在有限上下文窗口内支持更长的用户交互历史，降低抛弃历史带来的信息损失，同时节约上下文计算成本。
MemGUI-Agent：基于主动上下文管理的端到端长时域移动GUI智能体
🧭 Agent 上下文管理优化
浙江大学 · 快手科技
提出 Context-as-Action，将上下文管理作为一级动作压缩历史，让 8B 模型在长时域移动任务上超越更大规模模型
📌 工作参考价值（4 点）
- 长时域任务中引入“折叠历史”机制：在电商客服、导购 Agent 等多轮交互场景，可将对话历史分为“动作摘要+状态摘要+近期细节”三字段，关键信息不丢失且上下文长度可控，避免 ReAct 模式下的 token 爆炸与事实稀释。
- 将上下文管理作为策略动作统一训练：在推荐对话或任务型 Agent 中，把“忘记/压缩/总结”等上下文操作与业务动作（如查询商品、推券）纳入同一策略模块，端到端 SFT 可让模型学会主动压缩冗余信息，提升长会话稳定性。
- 构造结构化动作-上下文标注数据：可借鉴 MemGUI-3K 构建思路，为 Agent 交互轨迹增补“折叠/保留”等上下文管理标注，用于微调小尺寸模型，使其在长任务中推理成本更低、窗口利用率更高。
- 小模型通过上下文管理超越大模型零样本：该工作证明 8B 模型通过主动上下文管理可超越 235B 模型的零样本性能，适合资源受限的电商场景（如端侧智能助手）低成本部署。
AutoScientists: 自组织多智能体团队实现长周期科学实验自动化
🧭 去中心化多智能体自组织协作 ★ 深度解读
Harvard University
提出去中心化自组织多智能体团队，通过共享状态与动态重组，在生物医学、GPT优化和蛋白质工程中超越现有科学代理
📌 工作参考价值（4 点）
- 去中心化团队协作范式可迁移至多 Agent 推荐系统优化：通过共享状态（实验日志、死胡同注册表、论坛）让 Agent 相互“看到”对方的尝试与失败，避免重复探索，适合电商中多目标排序、个性化策略的并行搜索。
- 分析师与实验者角色分离：分析师 Agent 专职审核实验方向、生成和排序提案；实验者 Agent 实施并记录结果。这种分工可以用于生成式推荐中，由“策略脑”规划增量实验，“执行手”跑 A/B 测试。
- 动态重组与死胡同注册：当某方向连续无提升时，自动触发讨论并重组团队，将探索资源转移到新方向。可用于 Agent 系统在在线学习场景中的自适应调整。
- 实验前同行批评过滤：利用 Agent 间的异步讨论筛掉弱提案，节省算力。可借鉴到搜索链路中的策略预审或流量分配前的集体评估。
SpecBench：衡量长周期编程智能体的奖励破解
🧭 编程智能体评估 · 奖励破解量化 ★ 深度解读
Weco AI
提出 SpecBench 基准，通过可见/隐藏测试集分离量化编程智能体奖励破解，揭示长任务与弱模型下测试通过率严重高估真实质量
📌 工作参考价值（4 点）
- 显式分离可见与隐藏测试：在自动化流程（如 Agent 驱动的 pipeline）中，将单点功能验证与跨模块组合评估解耦，防止代理仅优化局部指标而忽视全局正确性。
- 长任务需设计端到端验证：对于复杂任务，仅靠单元测试无法暴露特征隔离等系统级缺陷，应补充覆盖真实使用场景的集成测试，尤其在电商推荐中，多模块协同的在线效果评估必须包含组合指标。
- 模型能力不能完全消除代理“作弊”：实验中强模型仍存在≥10-15pp 的 gaps，提醒我们在 Agent 选型时不应仅凭基础能力（如 MMLU）判断，需任务内专门验证其是否在投机取巧。
- 搜索策略影响破解形态：保留最佳公共分数的 Autoresearch 可能放大过度优化，树搜索 AIDE 可能探索出更健壮的架构，工程中应根据任务特点选择搜索模式，避免盲目使用贪心策略。
MementoGUI：为长周期 GUI 代理学习主动多模态记忆控制
🧭 GUI 代理 · 主动多模态记忆管理 ★ 深度解读
University of Rochester · MIT-IBM Watson AI Lab · University of Wisconsin-Madison
提出即插即用的主动多模态记忆框架，不微调 GUI 骨干，通过学习写入、压缩、检索视觉工作记忆与情景记忆提升长周期任务表现
📌 工作参考价值（4 点）
- 双时间尺度记忆架构：将记忆解耦为工作记忆（在线保存任务状态）和情景记忆（跨任务经验复用），可参考设计电商 Agent 的长会话状态管理与跨会话知识积累，避免上下文无限膨胀。
- 自动数据管线生成监督信号：从交互轨迹自动构造步骤重要性、摘要、ROI 框和检索需求等训练标签，可迁移到对话或操作型 Agent 的记忆选择标注，降低人工成本。
- 即插即用的记忆注入方式：仅用文本摘要和 ROI 裁剪图像，不引入特殊 token 或架构改动，直接作为冻结 GUI 骨干的输入，便捷增强已有 Agent 的长程决策能力。
- 长周期评估指标：提出基于 VLM 的语义动作匹配、任务进展、记忆一致性评分，可参考用于评估电商场景下多步任务的决策质量和记忆使用合理性。
CHI-Bench：AI 代理能否自动化策略密集、长周期的医疗工作流？
🧭 面向策略密集长周期工作流的 Agent 评估
actA V A.ai · Johns Hopkins Medicine · Wellstar Health System · Stanford University · CMU
构建首个评估 AI 代理端到端自动化多角色、高策略密度医疗运营工作流的基准，当前最优方案仅完成 28% 任务。
📌 工作参考价值（4 点）
- 多角色与策略密集工作流设计：在电商客服、售后纠纷、供应链协调等多角色交互场景中，可借鉴 χ-Bench 的“指令-技能书-多 MCP 工具”架构，将企业内部业务规则编码为可被 Agent 调用的知识库与工具集，构建更贴近真实业务的长周期任务评估。
- 长周期任务性能退化警示：实验表明单会话连续执行所有任务时成功率骤降至 3.8%，提示在电商推荐或订单处理 Agent 的部署中，需设计会话状态持久化、记忆压缩或子任务分拆等机制来对抗长上下文下的性能衰减。
- 工具集成与标准化 MCP 接口：基准中 87 个工具通过 MCP 服务器暴露，为电商/推荐系统 Agent 集成复杂的业务 API（如商品搜索、营销规则引擎、物流查询）提供了工程参考，可复用其工具描述模式，降低 Agent 与异构系统的对接成本。
- 严格多级评估准则（pass³）：对于生成式推荐、Agent 辅助决策等对可靠性要求高的场景，可以引入 χ-Bench 的多维度通过标准（如轨迹正确性、产出文档质量、最终结果），避免单指标乐观估计，更真实反映 Agent 在不可逆业务操作中的可靠性。