Axion 1.0：简化的开放智能体基础模型
🧭 Agent 基础模型 · 三阶段极简训练 ★ 深度解读
Duke University · ByteDance · University of Maryland, College Park · University at Buffalo
用两阶段 SFT 加 RL 的极简 recipe，构建可复现的开放 Agent 基础模型，在多项 agentic 基准上达到前沿水平
📌 工作参考价值（4 点）
- 模型感知的数据增强：Stage I 用基座模型能否解出作为难度筛选器，只对能解出的题目做组合、参数化、范围移位、分情况讨论等对抗式改写，让数据难度贴合模型能力边界。电商场景中构造训练数据时，可以先用线上模型筛选出“太简单”的样本，再做变体改写，从而提升训练集的信息密度。
- 可验证工具任务生成：Stage II 的 filter-select-compute-verbalize 流水线把结构化商品/内容库转化为需要检索+计算的问答，答案由确定性程序预计算，支持自动验证。对于电商搜索、比价、选品等 agent 任务，可以类似地从商品数据库抽取属性，设计需要多步工具调用和计算的题，自动获得带 ground-truth 的服务数据。
- RL 奖励设计：对未解出的轨迹给部分信用，公式 max(0, 0.3P - 0.1(1-A)) 鼓励中间步骤正确但最终未提交的探索，同时惩罚无终态的输出。在业务 RL 中，长链路 agent 任务（如导购对话）往往最终转化稀疏，引入可验证中间目标（如识别的实体、检索到的属性）能有效缓解奖励稀疏。
- 训练-推理一致性工程：TITO 直接传递 token ID 避免 message re-tokenize 导致的数据漂移；R3 重放 MoE expert routing 降低 rollout 与训练 logprob 偏差。电商推荐系统若使用 MoE 大模型做 agent 微调，可参考这两项工程实践，减少离线-在线性能 gap。
树结构分支策略优化 TSBPO：交互式语言智能体训练
🧭 交互式语言智能体策略优化
University of Electronic Science and Technology of China
TSBPO 用树结构采样与更新统一解决交互式语言智能体训练的采样、延迟信用分配和多 token 损失聚合
📌 工作参考价值（4 点）
- 将 rollout 构建为物理树，并用 likelihood-fitted Root/Branch allocator 在固定预算下优先展开高风险分支：这个思路可迁移到电商导购 Agent 的模拟训练，减少无效交互采样，把探索预算集中在信息增益大的状态。
- 信用分配不用全局奖励做蒙特卡洛，而是比较同父兄弟片段和同任务/观测状态的相对优势：适合多轮推荐对话中延迟转化信号，能被归因到具体话术或动作轮次，减少奖励噪声。
- 多 token 动作聚合采用完整 response 内 token surrogate 求和并按 active turns 归一化，避免直接按 response 长度平均导致的梯度消失：生成式推荐中的商品标题/文案策略梯度可直接复用这一项。
- 固定 checkpoint + 多次随机 episode 取平均成功率作为评估，比单次最优模型更可靠，适合上线前回归评测 Agent 稳定性。
Mage-VL-Cowork：从进化式 Harness 学习混合计算机使用的完整训练配方
🧭 计算机使用智能体 · 多阶段课程训练
Microsoft Mage Team
4B混合计算机使用智能体，通过五阶段课程与技能化数据生成，在OSWorld-Verified达66.0%同尺寸SOTA
📌 工作参考价值（4 点）
- 技能条件化数据生成可迁移：用「技能定义 + 可复用工作流 + 应用特定 preparer」替代逐任务构造，在电商 GUI 智能体（购物车、下单、订单查询等）中可显著降低合成数据成本，并规模化覆盖长尾技能。
- 五阶段课程（midtraining → SFT → RL）值得借鉴：先做通用多模态对齐，再注入任务完成能力，最后用 RL 优化决策质量；对训练面向搜索/推荐业务的 Agent 策略有直接参考价值。
- 进化式教师 harness 提供高质量监督信号：不直接蒸馏默认大模型，而是为不同训练阶段定制教师策略，有助于提升小模型轨迹质量，可复用于蒸馏电商场景的 4B/7B 级端侧助手。
- 小参数模型也能逼近前沿性能：4B 在 OSWorld-Verified 达 66.0%，说明数据与课程设计比单纯堆参数更关键，对需要在端上部署低成本 Agent 的业务是积极信号。
拍立淘MMSearch2.0：统一端到端多模态生成式搜索技术报告
🧭 生成式检索 · Semantic ID · 多模态电商搜索 ★ 深度解读
Taobao & Tmall Group of Alibaba
直接由图像+自由文本生成商品Semantic ID，统一相似/编辑/搭配意图，上线拍立淘带来显著GMV提升
📌 工作参考价值（4 点）
- 可直接复用「Sample–Beam rollout」：RL 训练时采样 reasoning prefix，SID 部分用 beam search 生成，使训练 rollout 与线上 beam-decoding 对齐；做生成式推荐/搜索的 GRPO 时能有效减少 train-serve mismatch。
- 用「混合 reasoning budget SFT」把 No-think / Low-think / High-think 训进同一个模型，线上通过 system prompt 切换 think budget，无需为不同延迟要求训多个模型或加意图路由；适合在候选生成与复杂查询场景复用。
- 数据生产采用可组合工具链：Coarse-Filter、Fine-Filter、Query-Text-Gen、CoT-Gen、Quality-Control，并按 cold-start / real-traffic / continuous production 配置不同 workflow；新意图冷启动可先用 proxy 商品关系合成数据，上线后用真实流量回流清洗，再持续混入生产。
- 三层 hierarchical SID（每层 8192 codebook）+ 原生 VLM 直接 beam decode SID 作为检索结果，省去独立召回/排序和意图分类器；已有成熟召回排序链路时，可先作为候选召回源 interleave，A/B 验证后再扩大流量。
Accordion：通过固定前缀层循环实现弹性深度推理
🧭 LLM 弹性深度推理 · 固定前缀层循环 ★ 深度解读
Tsinghua University · Baidu Inc.
一个 MoE 模型通过固定前缀层循环支持五个推理预算，中间预算以约 21-24% 额外时间捕获 89% 深度增益
📌 工作参考价值（4 点）
- 需要线上不同 latency/cost 档位时，可训练一个模型支持多个推理预算，通过固定前缀层循环共享权重，避免维护多个模型；推理时按请求选择预算，FLOPs 和 KV cache 线性扩展。
- 训练时每个 micro-batch 均匀采样一个预算路径，只优化该路径 NTP，无需跨预算一致性损失；第二遍用 zero-initialized tanh gates，初始为恒等映射，训练稳定。预算无关参数优于 budget-conditioned 参数。
- 多领域能力整合可采用参数组加权合并专家，再做 budget-matched 多教师在线蒸馏（MOPD），能保留各预算增益并提升整体指令遵循，适合搜索推荐中的 Agent 多任务模型合并。
- 资源敏感场景优先选中间预算（如 k=6）：以约 21-24% 额外 TPOT 捕获约 89% 深度增益，推荐系统在线服务可按此设计弹性档位。
继承而非发明：推理模型中 Wait 的来源追溯
🧭 LLM 推理行为训练溯源 · RL 角色
The Hong Kong University of Science and Technology · Peking University · Huawei Noah’s Ark Lab
通过追踪开放模型训练历史，证明 wait 等修订标记主要继承自训练数据而非 RL 凭空创造
📌 工作参考价值（4 点）
- 训练推理型 Agent 时，显式在 SFT 数据中加入“wait/reconsider”等自我修正 trace，不要寄希望于 RL 后期涌现；RL 只能放大已有行为，不能无中生有。
- 对线上 LLM 推理/推荐 Agent 做行为归因时，用无标签指标（标记频率、位置、形式、注入错误后是否触发）替代主观印象；marker 频率不应单独作为“推理增强”的 KPI。
- 评估 query 改写、解释生成或自检质量时，谨慎使用 LLM-as-judge：自动裁判可能反转人工标注趋势，建议人工抽检或多种 judge 交叉验证。
- 复现或调 RL 配方（如 GRPO）时，先检查基础模型是否已含目标语言行为、是否带 KL 约束；这些因素决定 RL 是放大、不变还是擦除该行为，影响线上文案/推荐解释的风格一致性。
兼顾任务遵循与行为自然度的用户模拟器
🧭 用户模拟器 · RL+对抗判别器 ★ 深度解读
Cornell University · Microsoft Research
用 RL 联合动态对抗判别器训练用户模拟器，有效对话率 46.2%，为最强现有模型的 3.3 倍
📌 工作参考价值（4 点）
- 在需要模拟用户生成多轮对话的场景（如评估导购 Agent、电商客服助手），不要只用 prompt 大模型或纯 SFT；可借鉴 SFT+RL+动态判别器配方：先 SFT 对齐真实用户语料，再用联合奖励优化任务完成度和自然度。
- 自然度评估要避免 LLM-as-a-judge，用轻量判别器（如 ModernBERT）做对抗训练，每 N 步重训，防止 reward hacking；业务中可训练真实用户 vs 模拟对话的判别器，作为线上模拟器的质量监控信号。
- 设计 coverage 奖励时引入信息不对称：给生成模型的意图抽象、给 reward 的子目标具体，可防止模型逐字复述意图刷分，鼓励多样化合理行为；类似可应用于推荐解释生成或 Agent 指令跟随训练。
- 终止/质量奖励可作为必要的门槛：先检查角色切换、重复输出、提前终止等硬失败，再做细粒度打分；这能低成本过滤掉不可用样本，提升自动化评估信噪比。
同运不同择：面向智能体强化学习的孪生世界信用分配
🧭 Agent RL 训练 · 反事实信用分配 ★ 深度解读
University of Sheffield · Carnegie Mellon University · University of Michigan
共享 Gumbel 噪声的孪生世界实现 turn 级反事实信用分配，方差降为 1−ρ 倍，7 个 QA 基准平均提升 5.3/4.5 点 EM
📌 工作参考价值（4 点）
- 在 LLM Agent 或多轮交互推荐中，固定检索/工具/打分等确定性组件，引入 keyed Gumbel noise 做 counterfactual rollout，评估某个 query 改写、工具调用或推荐 action 的增量收益；twin 共享下游噪声可把方差降为 (1−ρ) 倍，以更少样本判定方向。
- 预算分配采用「predicted discordance / cost」平方根规则：对分歧大且便宜的决策多分 twin，对必成功/必失败的 prompt/trajectory 少分；实际可用 logistic 模型预测分歧概率，配合 Horvitz-Thompson 加权保持无偏。
- 信用回传可组合：token-level advantage = trajectory-level GRPO advantage + 标准化 twin credit（A_t = A_traj + ω Â_t/σ̂），简单有效；在电商搜索 Agent 中可将最终成交/点击奖励回传给关键 query、是否继续搜索、最终回答等 action，减少好决策被失败 episode 误罚。
- 工程上 keyed noise 作为 logits processor 开销约 2%；self-twin 和 same-evidence shortcut 能省大量 auxiliary tokens；注意 live web/stateful API 需缓存或替换为确定性版本，否则耦合减弱但无偏性仍保留。
训练小语言模型实现可迁移的工具选择
🧭 Agent工具选择与跨域迁移 ★ 深度解读
Meta · Carnegie Mellon University
用SFT+RL训练Qwen3小模型，在Plan-Retrieve-Select流程中超过Llama-4-Maverick并零样本迁移工具域
📌 工作参考价值（4 点）
- 多意图查询先 Plan 再按子意图 Retrieve：将用户请求拆成独立 substep 后分别召回，可缓解电商搜索中“订酒店+订机票”类多意图相互干扰；Select 只从 top-K 候选中选一个，上下文可控，适合小模型部署。
- 训练小模型做 selection policy 时，可复用「SFT 冷启动 + GRPO 强化」：用大模型生成 teacher trajectories；Plan reward 用 retriever 命中 gold 的 precision/recall/F1，Select reward 用 exact match，无需额外人工标注。生产上可训练 1-8B 模型替代大模型 API 做工具/物料筛选。
- 把 retriever 抽象成接口：训练用 BM25，推理可换 COLT 等 dense retriever，无需重训；模型继承更强召回。电商/Agent 系统里可把召回层与精排/选择策略解耦，便于替换底层索引。
- 注意 gold label 噪声过滤：只保留仅凭 query 就能识别出工具/商品的样本，否则会教模型选无关项；同时跨域多步任务 Plan 可能失效，必要时退回扁平 Search-R1 式推理。
IQuest-Q1：面向 Agentic CLI 系统的稀疏 MoE 基础模型
🧭 Agentic LLM 训练 · MoE 与多阶段后训练
IQuest Research
320B 稀疏 MoE 模型，通过多阶段训练和模型合并强化 CLI agent 编码能力
📌 工作参考价值（4 点）
- 稀疏 MoE 架构（320B 总参、15B 激活）在保持大模型容量的同时控制推理成本，适合需要实时响应的搜索/推荐 Agent 场景，可参考其专家路由设计，减少线上 latency。
- 多 scaffold + 多版本后训练策略（SFT + 领域 RL + MOPD 跨多种脚手架）能整合互补训练信号，在电商 Agent 中可借鉴：针对商品知识、会话策略、API 调用等不同子任务分别设计 scaffold 和奖励，再合并训练，提升整体鲁棒性。
- 模型合并技术（merge 不同 expert 和 checkpoint 并缓解参数冲突）可直接迁移到多任务推荐模型融合，例如把单品推荐、query 改写、对话策略等专家模型合并为统一模型，降低维护成本。
- 两阶段课程学习先通用后增加 coding 数据，可用于垂直领域 LLM 微调：先在大规模通用语料上稳定训练，再逐步增加电商/广告领域数据，避免灾难性遗忘。
LongZero：从零数据增强 LLM 长上下文推理
🧭 长上下文推理 · 零数据自合成 RL
Tsinghua University
LongZero 让 LLM 无需外部数据，通过自合成紧凑证据再展开为长上下文，用 GRPO 提升长上下文推理
📌 工作参考价值（4 点）
- 在电商/搜索推荐 Agent 中，常需对长会话、多商品描述、多文档策略进行推理；可借鉴 LongZero 的思路，让模型先生成结构化的证据链（问题-答案-支持证据），再将证据扩展为多文档上下文，构造无外部标注的 RL 训练数据。
- 当业务场景缺少高质量长上下文标注数据或不想依赖更强教师模型时，可以用 GRPO 在自合成任务上训练，提升模型在长文档抽取、多跳推理、多轮检索上的泛化能力。
- 将自合成多轮检索任务加入训练，有助于优化 Agent 在长上下文中的检索与定位能力，例如在商品知识库、用户评论、活动规则中定位支撑某一推荐/答案的证据。
- 注意该方法主要针对长上下文推理本身，不直接提升推荐精度；作为基础能力训练手段，可集成到现有 Agent/LLM 训练流程中，重点解决推理链路可靠性与长上下文定位问题。
WeVisOne-VL：从物体到像素的统一视觉感知模型
🧭 统一目标级与像素级视觉感知
WeChat Vision, Tencent Inc.
用结构化 next-token 预测统一目标级与像素级视觉感知，支持检测、定位、分割与抠图
📌 工作参考价值（4 点）
- 电商商品图片理解：可把商品主体检测、属性定位、mask 生成、OCR 统一到一个 VLM，减少多模型串联；用结构化文本输出 boxes/masks，便于接入 Agent 工具调用。
- <OBJ> token + 轻量 pixel decoder 的思路可迁移：在业务多模态模型中加一个特殊 token 表示实例，让 LLM 主干输出语义信息、pixel decoder 输出像素级结果，实现“语义理解+定位”同架构。
- 针对缺货/不存在的对象做 robust rejection 值得借鉴：商品图或广告素材中检测用户 query 指向对象缺失时直接拒绝，可降低下游误匹配。
- 训练上采用三阶段 curriculum SFT + mixed-task RL 的策略，适合多任务视觉-语言模型在电商场景做稳定训练。
一种动作多种表达：面向长程智能体的效应边际策略优化
🧭 Agent 强化学习策略优化 ★ 深度解读
Tianjin University · Fudan University · Renmin University of China
提出 EMPO，对执行等价响应共享长度归一化策略比率，消除信用-更新错位，提升 GRPO/GiGPO 长程任务效果和效率
📌 工作参考价值（4 点）
- 在结构化动作的 Agent 训练里（工具调用、搜索词改写、推荐解释生成），可以把执行等价但文本多样的响应分组成 effect cell，共享长度归一化的 likelihood ratio，减少文本措辞差异对策略梯度更新的干扰；GRPO/GiGPO 可直接加这个 ratio sharing，无需额外 critic/rollout。
- 长度归一化要保留：跨不同生成长度的响应直接聚合 full-sequence ratio 会让长响应主导 shared ratio；用 exp(1/T Σ log r_t) 能校准 token 级尺度和 PPO clip。
- 与 credit assignment 解耦：EMPO 只用原始 advantage，不在 advantage 侧做聚合，方便叠加 SALT/GraphGPO 等更精细 credit estimator；clip 下 ratio-sharing 比 advantage-aggregation 更稳，WebShop GiGPO 提升更明显。
- 若线上动作空间是自然语言 query/推荐文案，需要先有 canonical effect parser；无结构化 parser 时 coverage 会低，建议先从可枚举 action 的 agent 场景验证。
MAPS：强化学习增强的多智能体个性化脚本驱动视频广告系统
🧭 多智能体广告生成与 RL 对齐 ★ 深度解读
Beihang University · Kuaishou Technology
多智能体闭环生成个性化视频广告脚本，结合 GRPO 多维奖励，在线 CTR/CVR/ARPU 显著提升
📌 工作参考价值（4 点）
- Profile Agent 用 MLLM 从异构行为序列提炼四维用户画像（topical interests、presentation style、implicit needs、decision-making tendencies），可替换传统 embedding 画像，适合 Agent 化推荐/广告系统的用户理解模块。
- 奖励函数拆成 Rule-based Structural + LLM-as-a-Judge Personalization + Product Alignment，权重 0.3/0.4/0.3；业务里生成文案/脚本/素材时可直接复用，结构合规用规则、偏好对齐和事实一致性用 LLM Judge，避免只优化 CTR 跑偏。
- SFT + GRPO 两阶段训练：SFT 冷启动学格式，RL 用组内相对优势和 KL 约束贴近 SFT；LoRA rank 32 微调 Qwen3-VL-8B。GRPO 不需要 critic，适合用 LLM-as-a-Judge 做 reward 的生成对齐任务，工程成本低。
- Reflector Agent 对线上负反馈做 profile-level vs script-level 归因，只回传 minimal revision，避免全量重新生成；适合低延迟闭环迭代，在推荐/广告系统中可把反馈打到画像或脚本局部，而不是重跑 pipeline。
野外智能体世界模型：计算机使用智能体环境合成
🧭 训练环境合成 · CUA · RL ★ 深度解读
UNC-Chapel Hill · Microsoft Research · Georgia Tech · Northeastern University · Independent Researcher
开源流水线合成 GUI/MCP/CLI 跨界面环境与长程任务，用质量门控与 RL 训练出跨 8 个 OOD 基准泛化的 CUA 智能体
📌 工作参考价值（4 点）
- 对电商 Agent 训练：可借鉴 WildAWM 的「可执行世界 + 五类质量门控」生成带验证器的多步任务，尤其 Counterfactual Probe 能防 LLM 法官谄媚，适合审核购物车/下单/售后等长流程合成数据。
- RL 奖励设计：把最终成功与子任务 checklist 部分得分结合，给长程任务更密集监督；Format penalty 对 GUI 动作解析很重要，可迁移到 App 操控或网页购买 Agent。
- 全开源栈（GLM-5.2 + OpenCode）证明环境合成无需闭源模型，业务上可低成本自建仿真环境，不必依赖外部 API。
- 世界合成用 persona + multi-day day plan 积累状态，可生成带用户历史/商品/库存的连续环境，用于推荐或搜索 Agent 的长期交互训练。
CoworkEnv：合成面向长时程同事智能体的训练环境
🧭 AI cowork agent 训练环境合成
The Hong Kong University of Science and Technology · The Chinese University of Hong Kong · Hong Kong Baptist University · Independent Researcher
用工作流需求合成可执行训练环境，同时产出 SFT 演示与 RL 奖励，训练小型 cowork agent
📌 工作参考价值（4 点）
- 电商智能客服/导购 agent 可参考 capability-guided 任务生成：从工作流需求出发，用程序化校验与反馈修复生成请求、工具接口、评分检查，减少人工标注和评审成本。
- Teacher executions 生成 SFT 演示 + student rollouts 产出 RL 奖励的两阶段数据管线，适合在线学习场景；可直接复用到多轮导购、售后工单处理等长时程任务。
- 关注 reward processing 与 credit assignment 配置：在长多轮 agent RL 中，分步奖励处理和信用分配对训练动态影响大，建议做消融而非直接套用单轮稀疏奖励。
- 对推荐系统本身借鉴有限，但可执行环境与程序化验证的思路可用于构建推荐 Agent 的仿真评估器，快速回归多步工具调用策略。
RL引导的时间定位用于长程Agent记忆双通道检索
🧭 Agent长期记忆时间感知检索
Tsinghua University · Qiyuan Lab
用RL训练时间区间定位器，在检索阶段引入时间约束，缓解语义相似但时间不匹配记忆淹没目标证据
📌 工作参考价值（4 点）
- 在用户长历史记忆/RAG检索里，若用户行为或事件语义重复度高，不要只靠语义相似度，可加一个独立的"时间窗口预测"通道：先由轻量模型预测答案证据可能出现的时间区间，再作为过滤或重排条件。
- 检索决策本身是离散、不可微的，但可以用RL+复合奖励来优化：把仅有答案级别的稀疏监督，拆成对检索结果的时间命中、顺序等细粒度反馈，适合训练一个1.7B小模型而不是大模型。
- "语义召回 + 时间召回双通道合并，再按时间窗口邻近度重排"是一个低成本插件式方案，可直接用于Agent长期记忆、用户会话历史、订单/行为日志等RAG场景。
- 电商场景可迁移：例如用户问"我上次双11买的鞋是什么品牌"，语义召回可能返回多个相似商品，用预测时间窗口截断或重排，能显著减少错误证据。
长期记忆写入的归因强化学习模型 Hy-Memory-30B-A3B
🧭 Agent 长期记忆写入 · 归因强化学习 ★ 深度解读
Tencent Hunyuan
训练跨 Mem0/MemOS/Hy-Memory 的紧凑记忆写入器，用逐块探针和归因奖励实现细粒度信用分配，平均 55.49% 超过 Claude Opus 5
📌 工作参考价值（4 点）
- 奖励归因替代稀疏终局奖励：若业务中存在多轮 agent 状态管理（如对话策略、用户画像更新），可将单个最终答案分数拆解为逐块局部探针（recall probes + trap probes）与跨块归因结果奖励，用冻结 judge 打分，解决长序列下 credit assignment 问题。
- chunk-level GRPO 思想可迁移：对任何「每个位置有可观察局部结果」的序列决策任务（如生成式推荐中的 item 序列、搜索会话策略），优势按位置分组归一化而非整个 trajectory，避免一个坏动作惩罚所有正确动作，每个 rollout 每位置只投一票。
- 银行隔离与 carry-forward 训练模式：RL 训练时每个 rollout 写入独立 bank，仅选择最佳 bank 进入下一个窗口，保持训练与部署分布一致，避免 teacher forcing。此模式适用于任何维护外部状态的 RL 训练（如推荐系统的长期兴趣状态、购物车策略）。
- 平台故障与策略错误必须区分：坏策略动作应保留为低奖励 trajectory，平台故障（如 API 失败、分页缺失、checkpoint 空）要重试并从分母排除；同时监控 teacher token coverage、chunk-to-segment mapping 等静默失败，避免训练看似正常但梯度为零。
CLUE：通过发掘社交上下文实现语用理解
🧭 训练模型发现对话社会线索用于语用理解
Purdue University
用两阶段训练+GRPO奖励让模型自我发掘对话中的社会线索，准确率提升且推理 token 减少超 80%
📌 工作参考价值（4 点）
- 可借鉴 Grounded Information Utilization 奖励设计：在对话理解、用户反馈归因等场景，要求模型的新推断必须引用具体交互证据，并惩罚冗余推理，可显著压缩推理 token，降低线上成本。
- 两阶段训练方案适合小样本业务任务：先用监督证据推理教会模型引用上下文，再用 GRPO 强化，类似客服对话意图消歧、评论情感归因等标注数据少的场景可以低成本迁移。
- 推理 self-contained、不依赖外部 RAG 或知识库，适合低延迟 Agent 的对话理解模块，减少检索链路，同时输出可验证的证据引用。
- 评估中加入推理 token 效率指标，避免只追准确率导致 CoT 过度生成；跨域跨语言 F1 提升 9.3% 的结果说明该训练方式有泛化潜力。
可控数据升格 + 联合 RL/在线蒸馏的长程多模态搜索智能体
🧭 多模态搜索 Agent 训练 ★ 深度解读
Peking University · HKUST(GZ) · Tsinghua University · The University of Hong Kong · Huawei Cloud BU
用可控问题升格与联合 RL/在线蒸馏，把易题变难、难轨迹变可学
📌 工作参考价值（4 点）
- 可复用的问题升格框架：Expand/Blur/Visualize 把已有简单 VQA 或搜索日志升级为长链、实体消歧、跨模态证据任务；电商场景可把“这是什么商品”改写成多跳品牌/历史/场景链，并要求买家秀或商品图反搜验证，提升训练数据难度。
- 难度与质量双筛选：先用直接答案探针过滤参数化捷径，再用专家 rollout 的 Pass@k 评估难度并分池；业务上可先易样本 SFT，再难样本 RL，减少奖励噪声和人工标注成本。
- RL 训练中加入行为惩罚与 token 级 OPD：只对失败或不完美轨迹启用在策略蒸馏，教师信号按 reward gap 加权，并指数衰减 λ；这比纯终局奖励更稳定，适合搜索/推荐 Agent 的 RLVR 训练。
- 监控行为经济性：训练后期 tool call 和 response length 下降但答案奖励不降，说明可先鼓励长程探索、后收紧效率；在线上 Agent 优化中可用同样指标做早停。
图书管理员智能体：训练LLM预构建预见未来查询的长上下文工作区
🧭 Agent 预构建长上下文记忆工作区 ★ 深度解读
Stanford University · Carnegie Mellon University
将文档语料预构造成分层文件系统工作区，并用RL直接优化下游答题准确率，BrowseComp-Plus提升33个百分点
📌 工作参考价值（4 点）
- 在电商/客服/导购 Agent 中，可将商品库、类目树、活动文档、评论语料预先构建成分层合成文件系统（如类目索引、跨品对比表、活动时间线），回答 agent 走短路径文件即可，不必每次实时跨文档检索；用 RL 直接以“下游转化/回答准确率”作为奖励训练 builder 策略，而不是手工定义抽取规则。
- 利用文件系统作为 LLM 友好的外部记忆接口，比知识图谱更灵活：CreateFile/MergeFiles/Delete/Stop 这四类动作足够构建层级，同时显式保留 provenance/原始文档链接作为 fallback，防止合成摘要丢失关键细节；电商场景中 needle-in-haystack（如某单品具体参数）可回退到原文。
- 工程上可借鉴“预构建一次 + 多次查询”的成本摊销：把昂贵跨文档推理前置，回答阶段只读合成文件；文中给出 break-even 分析（约31个查询/语料时 token 成本优于 base builder），类似商品知识库高频问答适合。
- 密集奖励设计可复用：每 8 步探测 answerability 变化作为密集信号 + 终局正确性，等价于稀疏奖励但训练更稳定；multi-turn GRPO 可用于训练其他文档组织策略。
学会引导 LLM 智能体与多智能体系统
🧭 Agent 外部监督与强化学习 ★ 深度解读
National University of Singapore · University of Science and Technology of China · Qwen Business Unit of Alibaba
提出外部 steering agent，用 fast/slow 双路径和 RL 联合训练，在长程执行中实时纠正 goal drift，提升单智能体和多智能体搜索任务表现
📌 工作参考价值（4 点）
- 对商品搜索/导购等多步 Agent，可增加一个外部 steering policy：fast path 只需一次单 token 判断“是否需要干预”，再触发 slow path 生成干预动作；阈值可在部署时调节干预频率，无需重新训练，直接控制成本与效果。
- 训练时冻结执行器，只训 steering agent；用 pairwise ranking 学 fast path 的状态优先级，用 GRPO 学 slow path 的干预生成，并把“不干预基线”加入 group 归一化。这套目标适合作为业务 Agent 在线监督模块的训练模板。
- 多智能体电商链路（query 规划→召回→验证→回答）可在 agent 交接点插入 steering，动作设为 note/retry，重点抑制 verifier 过度拒绝导致的重复修订，减少无效 API 轮次。
- 该 steering 能力可跨执行器迁移：用 Qwen executor 训练后可直接监督 Llama/Mistral/Phi 执行器，适合多模型后端共存的平台。
Terminal-RSI：通过递归自改写与策略精炼实现终端智能体递归自改进
🧭 终端 Agent 递归自改进强化学习
Tencent Hy Frontier · National University of Singapore · University of Maryland, College Park · University of Georgia · Indiana University
用递归自改写与策略精炼交替训练，把终端 Agent 验证反馈转成策略提升
📌 工作参考价值（4 点）
- 可借鉴「验证轨迹重写 + 策略精炼」的交替训练范式：用业务中的 reward/verifier 信号找出成功或部分成功轨迹，先重写成更优示范再做策略更新，适合电商 Agent 的任务完成型 RL。
- TB-GAE 对多轮交互做 token 级信用分配时保留衰减：在搜索/推荐 Agent 的多轮对话 RL 中，可按 turn 边界做 skip-observation GAE，避免跨 turn 的 token baseline 偏移。
- FDR 与 SPR 的奖励设计适合业务落地：按任务族做 dense progress reward 校准，同时把严格成功与有界部分奖励解耦，可减少 reward hacking 并稳定训练。
- Warm-up Critic 与 stage-specific LR 可迁移到多阶段 RLHF/RLAIF：先预热 critic 再更新 policy，且不同阶段用不同学习率，能提升生成式推荐的训练稳定性。
ActionOPD：蒸馏决策，而非令牌
🧭 Agent 动作级在线蒸馏 ★ 深度解读
Tsinghua University
提出动作级在线蒸馏，用语义一致奖励替代 token 概率，实现跨模型家族黑盒 teacher 蒸馏
📌 工作参考价值（4 点）
- 做对话/工具型业务 Agent（如导购、售后、广告投放助手）时，可用强模型作为黑盒 teacher，只采样其动作，不需要 logits 或同 tokenizer；学生模型用语义匹配奖励做 PPO 更新，teacher 选择只看决策质量，便于跨模型家族蒸馏。
- 语义匹配奖励可复用：工具调用先程序化比较工具名和规范化参数（忽略 dict key 顺序、归一化整数浮点），剩余差异交给冻结 LLM；消息比较意图和事实内容，不比较 reasoning token。适合电商 Agent 的动作一致性评估。
- state-group rollout + group-relative advantage：每步采 4 个候选，选最高奖励动作执行，但所有候选都参与训练，用组内均值做 baseline。可缓解 on-policy 漂移并提高样本效率，适合多轮对话策略优化。
- 奖励设计上，invalid 动作给 -1，valid 无匹配给 0，首个匹配给 1，额外匹配给频率 bonus；可降低稀疏语义匹配的方差。但 teacher 动作错误会传播，业务中需对 teacher 动作做有效性过滤或人工审核。
长程强化学习需要 Muon 优化器
🧭 Agent RL 优化器与训练 recipe ★ 深度解读
Renmin University of China · Duke University · Institute of Automation, Chinese Academy of Sciences · Institute of Computing Technology, Chinese Academy of Sciences
在仓库级 issue 修复的异步 RL 中，Muon 配合单 rollout、TIS 与奖励塑形显著提升训练成功率
📌 工作参考价值（4 点）
- 训练多轮交互 Agent（对话式推荐、商品搜索助手）时，可尝试隐藏权重矩阵换用 Muon，其余 embedding/output head/norm/vector 保持 AdamW；稀疏奖励长轨迹任务中 Muon 的谱范数约束可能带来更稳更新，但需监控 collapse，Adam 与 Muon 差距会受 recipe 影响。
- 线上已有旧策略产生的轨迹时，可复用单 rollout 异步训练 + 截断重要性采样：按 token 计算 π_train_old / π_rollout 比值并截断到 [0,2]，再加权 PPO loss；不必等待同 issue 多条轨迹，适合电商 Agent 环境异步执行时策略滞后场景。
- 对过长回复、无效工具调用加负奖励，但建议将单独或组合 penalty clip 到 [−0.25,0.25] 再加到 advantage 并标准化，避免惩罚过重破坏策略；长度惩罚在最终回合可省略。
- Ablation 显示 length penalty 影响大、tool-error penalty 影响相对较小且不一定稳定；不要盲目堆 penalty，先做单组件实验。
混合推理智能体：隐空间思考与文本工具调用统一
🧭 混合潜在推理与工具调用的 LLM Agent ★ 深度解读
Stanford University · Together AI · UIUC · Meta
HybridAgent 用轻量 HybridLink 与连续工作记忆交替进行潜在推理和文本工具调用，在 11 个基准上平均提升 10.4% 并大幅降低 token、延迟与成本
📌 工作参考价值（5 点）
- 在搜索/推荐 Agent 中，把长 CoT 的中间推理压缩为 latent steps，仅在需要调用搜索 API、商品过滤工具时切回 text，可大幅降低 token 费用和首字延迟；适用于高并发在线服务。
- 复用 KV cache 作为跨轮工作记忆：多轮搜索/推荐对话中保持工具结果和内部表示，避免重复编码；可参考其 persistent KV accumulation 设计来优化多轮 Agent 服务。
- 后训练要解决 train-inference mismatch：先用 teacher forcing 再 self-conditioned 两遍训练，是让模型学会消费自己 latent 输出的关键；如果业务中做类似隐式状态，这个 trick 值得照搬。
- RL 奖励只给 correctness + format + tool use，不显式控制 latent/text 比例，让模型自适应分配；在电商 Agent 中可避免奖励设计过度约束导致行为退化。
- 可解释性：latent pseudo-text 映射到最近 token，方便监控和 debug；适合需要审计的推荐理由生成/搜索排序 Agent，可保留可解释性同时降本。
P2T：免训练将过程奖励分解为 Token 级奖励
🧭 RL 奖励归因 · Token-level reward ★ 深度解读
Chinese University of Hong Kong · Hong Kong University of Science and Technology · University of Hong Kong
提出训练免费的 token 级奖励归因方法，用梯度一阶泰勒近似从 PRM 分解过程奖励，加速 RL 训练并提升推理表现
📌 工作参考价值（4 点）
- 若业务中已有可微分的奖励模型（如用户满意度预测、转化模型、Critic、视觉质量模型），可直接用其梯度对生成序列做 token/action 级归因，无需训练新 reward model；公式简单：token influence ≈ ∇_{e_i} R(E)·(e_i - e_null)，一个 backward pass 拿到全序列。
- 将粗粒度奖励作为 baseline 再叠加归一化影响权重，而非直接用影响分数作为奖励，能显著降低梯度噪声；η 从 0.25 到 1.0 都稳，业务上无需精细调参。选择 null token 用模型 padding token 比 EOS/zero embedding 更稳。
- 训练 Agent/生成式推荐策略时，如果只有最终 outcome label（点击/转化/任务成功），可接入现成 PRM 或可微分 reward model，用 P2T 方式分解到每个 action/token，加速 RL 收敛；论文显示达到同等效果可少 3-4 倍训练步数。
- 注意 PRM 质量决定上限；若 PRM 在目标域不可靠，收益有限，应先验证 PRM 在该域判断准确，且 α 可从小增大。
社交 Agent 交互有效性：从成对世界可验证结果中学习
🧭 Agent 社交交互 · 可验证结果奖励塑形 ★ 深度解读
Alibaba Token Hub, Alibaba Group · The University of Tokyo
提出 HICO-Bench 与 PaCPO：以成对世界可验证结果评估并训练社交 Agent，Qwen3-8B Verified Success 20.4%→28.3%
📌 工作参考价值（4 点）
- 评估体系：引入「Feasibility + Integrity」双层验证。在电商客服/导购/协商 Agent 中，可用规则校验最终订单、退款、排期等结构化结果是否满足双方约束，再让 LLM judge 检查对话是否支撑该结果，避免只看对话流畅度。
- 成对世界构造：对同一公共上下文只改一个私有条件（如用户预算、偏好），构成 contrast set。可用来诊断 Agent 是否真正利用差异信息，而非用同一套回复应付不同用户；也可作为回归测试集。
- 回合级信用分配：PaCPO 的 tentative plan 探测 + 跨世界 credit 可在多轮任务型对话 RL 中复用。每轮后让模型输出「如果现在结束会提交的结果」，与另一世界的结果对比，只在关键信息披露后的分化时刻给予奖励，用 potential-based 重分配保持总奖励不变。对训练客服主动澄清需求、协商出价等场景有价值。
- 保守预期：即使 PaCPO 提升，绝对 Verified Success 仍只有 28.3%，说明复杂多轮交互任务上 RL 收益有限；建议先做好 SFT 初始化（SFT+PaCPO 达 31.67%）和结构化验证闭环，再逐步引入 RL。
EAU：环境-智能体-用户共同进化训练用户中心智能体
🧭 用户中心 Agent RL 训练环境协同进化 ★ 深度解读
University of Alberta · National University of Singapore · Kuaishou Technology · Alberta Machine Intelligence Institute (Amii)
提出 EAU 元代理框架，在 RL 训练中在线诊断并修改用户模拟器、环境奖励与超参，实现三者协同进化
📌 工作参考价值（4 点）
- 用户模拟器不稳定是对话式推荐/客服 RL 训练的常见痛点：可借鉴 symbolic user 规则化控制信息揭示，与 LLM 模拟器按比例混合，获得稳定训练信号同时保留自然交互多样性。
- 训练中让 meta-agent（或自动脚本）监控 rollout 日志、检测 deadlock/信息泄露/reward hacking，并热修复奖励规则或环境约束，避免重启；工程上可将 user simulator、reward scale、max steps 等做成可编辑配置，支持在线调整。
- PPO 训练对话 agent 时，critic 和 GAE 只计算 action tokens 的 advantage，防止 observation 文本稀释学习信号；这一实现细节可直接复用于多轮对话策略优化。
- 跨 run 经验池：把每次训练发现的修改和效果记录下来供后续 run 复用，可加速迭代，适合业务中反复训练 agent 的场景。
Vela：以用户行为作为监督激发 LLM 智能
🧭 LLM 训练 · 用户行为监督 ★ 深度解读
AllSpark Team
用10万用户真实行为构造可见历史/隐藏未来任务微调LLM，同步提升用户理解与通用能力
📌 工作参考价值（4 点）
- 可直接借鉴「可见历史/隐藏未来」的构造方式：把电商/广告日志按时序切分，将浏览、搜索、购买、收藏、负反馈作为可见上下文，用未来购买/点击/广告互动作为 ground truth，自动生成预测式 SFT 数据，省去人工标注。
- 对用户画像摘要、搜索 query 生成、广告文案等 free-form 输出，用 Rubric 类模板 + LLM scorer 做任务特定 criteria 自动评估，例如「证据是否来自历史」「是否避免无据属性」，既可用于离线评测，也可作为训练信号。
- 用基座模型多次采样估计难度，只保留 0.2–0.8 中间难度任务，再选高分轨迹做 SFT/RFT；这套筛选在 AdRecommendation、ProfileSummary 等任务上带来稳定 OOD 提升，成本低，适合业务个性化模型训练。
- 先做用户行为 SFT 再做 RL，比从基座直接 RL 高 7.7 分；在电商/Agent 的 RLHF/GRPO 流程前，可先加入一批行为监督 SFT，作为个性化能力的更强初始化。迁移时需按业务事件 schema 重新设计模板，并注意行为数据隐私合规。
HarnessSQL：真实数据库环境中 SQL Agent 的 Harness 原生训练
🧭 SQL Agent 原生训练 · 执行奖励 RL
Hong Kong University of Science and Technology · Microsoft Research · Tsinghua University · University of Macau
提出 HarnessSQL 训练框架，在 SFT 和 RL 中保留完整 SQL 交互结构，大幅提升小模型在真实数据库任务中的执行准确率
📌 工作参考价值（4 点）
- 借鉴 harness-native 训练思想：在电商搜索/推荐 agent 训练时，让模型直接调用线上同构工具（商品检索 API、数据库查询、排序服务），保留完整交互轨迹做 SFT，而不是只输入问题输出答案，缩小训练与线上推理差距。
- 使用 execution-reward RL：以可验证的结果（如商品是否被正确召回、SQL 是否返回正确结果、用户是否点击）作为奖励信号，只对最终成功轨迹给予正奖励，能有效提升长程 agent 任务表现，且无需逐步骤标注。
- 引入 hidden oracle 自动过滤高质量轨迹：在业务中可构建规则或脚本验证任务完成情况，从海量交互日志中筛选成功样本用于训练，降低人工标注成本。
- 隔离可执行沙箱环境：在离线训练时为 agent 提供稳定、可控的数据库/服务沙箱，避免真实环境波动导致训练不稳定；同时可模拟错误注入，增强错误恢复能力。
OpenMobile-2：构建可扩展环境与应用原生工具的通用移动智能体
🧭 移动智能体环境与工具混合训练
Nanjing University · SenseTime · The University of Hong Kong · Xi'an Jiaotong University · National University of Singapore
开源移动智能体OpenMobile-2，提供110+应用环境、12K SFT轨迹与2K可验证RL任务，支持GUI与原生工具混合使用
📌 工作参考价值（4 点）
- 借鉴「GUI + app-native tool」混合模式：在电商 Agent 中，把搜索、加购、下单等关键操作封装为结构化工具，与页面 GUI 操作交替使用，可降低对视觉解析的依赖，提高动作准确率和可执行性；同时保留 GUI 兜底应对未封装的长尾页面。
- 用可验证任务 + 自动奖励扩展 RL 训练：借鉴其 2K+ 可执行任务、自动 reward 的设计，在推荐/客服 Agent 训练中构造「完成订单/加入购物车/点击商品」等可自动判定的任务，低成本获取大规模 RL 数据。
- 构建跨 App 工作流仿真环境：在电商场景中，模拟搜索、详情、购物车、支付等多 App 跳转与重置，用于离线评测和训练 Agent，避免在真实 App 上试错；其 MobileGym++ 的 reset/verification 机制可直接迁移。
- 关注长时程商业任务评测：MobileGym++ Bench 支持 GUI-only 与 hybrid 共享任务套件，可用于对比不同交互范式的效果，帮助选型工具化 vs 纯视觉方案。
OneSearch-VL：统一图像/视频的多模态深度研究 Agent
🧭 多模态深度研究 Agent 统一训练 ★ 深度解读
BUAA · CUHK · NTU · THU · HFUT
以视觉证据图 VGEG 与证据/定位双层奖励 EVGR 为核心，统一训练单图、多图、视频深度研究 Agent
📌 工作参考价值（4 点）
- 用显式证据图统一数据构造、SFT 轨迹过滤与 RL 过程奖励：在电商商品图像/视频理解中，可构建「视觉 anchor → 商品实体 → 来源化属性事实 → 答案操作」的 VGEG 结构，使商品问答/导购 Agent 的证据链路可追溯，便于生成训练数据和做细粒度评测。
- 把过程奖励拆成 evidence traceability + visual grounding 两个维度：最终答案正确之外，分别检验检索事实是否被工具观察支持，以及模型是否真的定位到正确商品区域/视频帧。消融显示两者同时使用比只用答案+query 奖励平均高 3.8 个点，适合迁移到电商多模态 Agent 的 RL 训练，降低幻觉和“不看图就答”。
- 评测按 research operation 分层，而不是只报总体准确率：单 anchor lookup、multi-hop、多 anchor join/comparison/arithmetic、knowledge-conditioned counting 等操作化分层，能定位 Agent 具体弱项；电商场景同样可以按“属性抽取、跨商品比较、规格计算、多图统计”拆 benchmark，避免平均分掩盖能力短板。
- 单图/多图/视频联合 SFT 有跨输入迁移收益：共用同一套 action-observation 工具 schema 和动作空间，联合训练达到 55.8 平均分，优于单类型训练；电商场景中商品主图、多角图、商品视频共用一套策略，可以减少多套系统维护成本并提升一致体验。
FC-SWE：面向长程软件工程智能体的失败条件强化学习
🧭 Agent 强化学习训练 · Failure-Conditioned RL
NVIDIA · Tsinghua University
引入失败条件 RL 框架，将失败补丁与验证反馈作为恢复轨迹上下文，SWE-bench Verified Resolved@1 从 GRPO 的 38.9% 提升至 41.7%
📌 工作参考价值（4 点）
- 失败反馈作为条件上下文：在电商搜索/推荐 Agent 中，可以把用户负反馈、工具调用失败或验证不通过的结果作为后续恢复轨迹的输入，训练模型主动修复而非重新独立采样，提升多轮交互成功率。
- Trajectory-local rewards：将每次尝试的验证结果单独作为奖励，避免恢复成功错误归因到之前的失败补丁，适合多轮对话或工具调用中每轮独立评估的场景。
- Active-set advantage estimation：只把同一 issue 下实际执行的初始和恢复轨迹纳入比较组，排除未执行的轨迹，可迁移到变长、条件依赖的轨迹训练，改善 GRPO 在复杂 Agent 任务中的优势估计。
- 测试时扩展尝试次数：训练只用最多两次尝试，但测试时用 11 次尝试 Resolved@11 达 70.7%，说明部署阶段可以配合验证器多次尝试，显著提升最终解决率。
LoGRA：用低秩梯度草图扩展LLM强化学习
🧭 RL训练内存优化 · 低秩梯度草图 ★ 深度解读
NVIDIA
通过低秩梯度草图压缩RL训练中的梯度和优化器状态，配合预测KL步长控制，大幅降低内存占用
📌 工作参考价值（4 点）
- 资源受限下的RL训练：电商/Agent场景若需对LLM做RL后训练但GPU显存有限，LoGRA能以约45%的内存节省保持性能，可让原本OOM的模型规模落地，适合中小团队。
- 预测KL步长控制：将每次更新的策略偏移限制在预设KL预算内，避免策略突变导致已学行为崩溃。在推荐/Agent在线持续学习中，可将该机制用于策略更新的稳定性控制。
- 梯度压缩与同步复用：LoGRA的压缩更新（低秩因子）可直接用于rollout策略同步，减少通信开销。分布式训练或多智能体协作中可借鉴：用低秩因子传输更新，降低网络负担。
- 注意rank选择：论文消融表明投影秩对性能影响最大（秩4→256提升约3个百分点），而投影矩阵刷新与否影响很小。在实践中应优先调大rank，无需频繁刷新投影。
MemPilot：按需多模态记忆编排的 LLM Agent 框架
🧭 Agent 多模态记忆按需编排与模型路由 ★ 深度解读
Nanyang Technological University · Tsinghua University · University of Illinois Urbana-Champaign
用 RL 多步策略按需编排记忆检索与异质 LLM/VLM 策展，实现质量-成本-延迟可控折衷
📌 工作参考价值（4 点）
- 借鉴双视图记忆：保留 query-agnostic 压缩记忆库用于低成本检索，同时保留原始多模态历史用于按需精调，避免离线压缩丢细节；电商 Agent 里可以兼容现有长会话记忆系统，不推翻重建。
- 将「是否调用视觉/大模型」设为策略动作，把模型池中的 LLM/VLM 按成本和延迟画像暴露给 orchestrator，让 RL 学会按 query 难度和预算动态路由；推荐/搜索 Agent 里可把通用问答降级到小模型，把商品图片理解、多轮用户偏好抽取路由到 VLM。
- 用 objective-wise advantage decoupling 做多目标 RL：质量、成本、延迟分别组内归一化再按偏好加权，比合并 reward 更稳定；业务中若要同时优化转化率、token 成本和响应耗时，可复用该 trick。
- 延迟不用墙钟时间，改用固定系数仿射估计（fixed overhead + per-token input/output + per-image），避免 API 波动影响训练；线上部署时也可用此 proxy 做策略训练或仿真。
从训练数据学到的 token cue 激发基础模型推理
🧭 LLM 推理行为与训练数据关联
MIT · UC Berkeley · University of Washington · Allen Institute for AI
固定特定起始 token cue 可使 base model 推理性能接近 RL 模型，该效应源于训练数据关联
📌 工作参考价值（4 点）
- 在搜索推荐、电商问答等提示工程中，可对输出起始 token（如 "Alright,"、".\n\nOkay"）做批量 A/B 测试，固定有效 cue 提升 base model 的推理质量，避免依赖 RL 训练成本。
- 若业务中 RL 训练的推荐/策略模型相比 base model 有显著提升，可分析其输出前缀 token 分布，将高频有利 cue 固定到推理流程中，部分回收性能增益。
- 遇到模型输出不符合预期（如推荐理由弱、拒绝率异常），可通过数据干预手段在训练数据中增删特定 token 关联，低成本调整行为，无需重新预训练。
- 安全合规场景需注意：token cue 可能被操纵以绕过拒绝行为，评测时应覆盖多种 cue 下的安全表现，避免只测试默认提示。
低精度RL中方向感知的Learner-Sampler失配稳定化（TRIAGE）
🧭 低精度 RL 训练稳定性 ★ 深度解读
InfiX.ai · NVIDIA
提出TRIAGE，通过方向感知门控与修复稳定NVFP4强化学习，实现近BF16性能与2.3倍rollout吞吐
📌 工作参考价值（4 点）
- 在生成式推荐/Agent RL 中采用低精度（FP8/NVFP4）加速 rollout 时，不要只按 importance ratio 的 magnitude 做 TIS，应结合 advantage sign 和 learner-sampler gap 的符号，选择性抑制会放大 mismatch 的更新方向（A<0 & δ<0）。
- 用 segment 级（如 64 tokens）而非 response 级或 token 级统计来诊断训练-推理不一致，能更早发现局部风险，避免全局均值掩盖崩溃前兆。
- TRIAGE 的 bounded repair 设计可借鉴：只在 positive advantage responses 上施加 pseudo-Huber penalty，使修复项与 reward 方向一致，不与 policy gradient 对抗。
- 保留 native 低精度前向，仅修改 loss/优化目标，可兼顾吞吐与稳定性，适合大规模线上 RL 训练。
供给感知的旅行搜索冷启动主动查询建议框架 SCOUT
🧭 生成式 Query 建议 · 供给感知 RL ★ 深度解读
Airbnb, Inc.
用搜索重排分作免费 RL 奖励，GRPO 把供给感知压进 LLM，零推理成本追平 best-of-8
📌 工作参考价值（4 点）
- 可直接复用「用生产重排器 query-listing 匹配分作为 RL 奖励」：相比在线跑 best-of-N 或 LLM judge，重排分在 serving 路径本来就会算，奖励零额外推理；电商搜索/推荐可把现有 ranking model 的 relevance score 拆出来当密集奖励，降低训练成本。
- 冷启动无点击日志时，可用历史结构化请求（目的地/日期/人群等筛选条件）作为 context 主动生成 query，并用当前 catalog 检索 top K 后做离线 inventory/diversity 评估；这对新入口、新场景的无样本 bootstrapping 很实用。
- 若用 DPO 做生成式 query 对齐，注意 diversity collapse 风险；本文中 DPO 的 distinct%@0.9 掉到 11.07，RPO 加辅助 SFT loss 能恢复，GRPO 则天然更稳。业务里偏好优化建议优先 GRPO 或 RPO，而不是裸 DPO。
- 把 serve-time best-of-N 的验证成本「一次性摊销进模型权重」可成为部署架构：训练时用 search engine 做 environment 在线 rollout，线上不再多次检索；对 latency 敏感、库存/广告供给受限的搜索推荐链路很有借鉴意义。
循环模型的不动点重思考：训练与推理高效捷径
🧭 循环 Transformer 固定点训练/推理加速 ★ 深度解读
Institute of Foundation Models · USC · CMU
从不动点视角重构循环 LLM，以学习深度先验和正交注入支撑终端 KV 共享、蒸馏预填充与 RL 状态复用
📌 工作参考价值（4 点）
- 若使用循环/looped 模型做 latent reasoning 或深度重排，解码时采用 terminal KV sharing，只保留终点 KV；前提是训练深度先验必须覆盖深层并让状态接近不动点，固定深度训练会在共享后大幅掉点（论文中 GSM8K 从 50.6 掉到 21.2）。可作为 KV cache 降本 3× 的工程方案。
- 把固定深度/固定 PLN 先验换成可学习 categorical depth prior：以 inverse perplexity 为 reward，用 PopArt 归一化 advantage，并用 entropy 系数平衡深度多样性、用 mean penalty 控制平均计算预算；可直接用于 query 改写/Agent 自修正动态分配迭代步数。
- 输入注入时采用 OrthoInj：将 carryover 状态先投影到输入向量的正交补，再加输入；可避免状态沿输入分量抵消注入，提升训练稳定性和 PPL，代码上只是一行投影。
- RL 后训练（如 GRPO）对循环策略打分时，复用 rollout 保存的终点状态，在单次 forward 记录的计算图上循环 backward 计算 Neumann 梯度，scoring+backward 时间约减半，避免 trajectory 重放。
自评估递归智能体（SERA）
🧭 递归多智能体训练 · 可学习 rubric 评估 ★ 深度解读
Tongji University · Shanghai Artificial Intelligence Laboratory · Shanghai Jiaotong University · Peking University · Nanjing University
训练递归智能体生成与学习对齐的 rubric，以自我评估子任务，降低外部监督并提升执行与分解能力
📌 工作参考价值（4 点）
- 把中间步骤/子任务的 reward 从外部 judge 迁移到策略自产 rubric：训练阶段用少量外部 verified outcome 做 ranking loss 锚定，执行时用模型自己的 rubric 打分。对推荐链路中的多步策划/生成类 Agent，可显著降低线上 LLM judge 调用成本（文中 TextWorld judge calls 和 tokens 下降 4-5 倍）。
- 当评判器和执行器共享同一个模型权重时，不要用最终任务 reward 直接训练 rubric，否则两者会共适应、分数虚高；应使用 verified outcome 的 pairwise ranking loss（带 margin）训练。这点可迁移到“同一模型既做推荐生成又做事后评估”的场景。
- 分解质量需要单独 reward：用 leaf-coverage（成功任务的 delegation 子树覆盖叶子比例）训练分解动作，在依赖链、共享状态、资源冲突等 interdependent 任务上增益明显；对应到电商场景，适合训练复杂活动策划拆解给多个子 agent 时使用。
- 训练得到的 rubric 可以在推理时作为 tree search 的节点选择器，自产候选分支并按 rubric 分数保留最优，无需额外训练即可提升效果；对搜索/推荐中的多路召回或规划路径选择有借鉴意义。
依赖感知的终端智能体策略优化
🧭 终端 Agent · 依赖感知信用分配
Southeast University · Huawei Noah's Ark Lab
提出 DepGPO，用命令间读写依赖图反向追踪，把优势分配到真正影响结果的步骤
📌 工作参考价值（4 点）
- 对多步 Agent 业务（如推荐 Agent 先检索后排序再生成文案），可以借鉴依赖图思路：记录中间工具调用的读写资源，从最终业务指标反向追踪哪些调用真正影响了结果，再做细粒度 credit assignment，减少无关步骤的梯度噪声。
- 训练 LLM Agent 时，trajectory-level advantage 会平均分配到所有 step，导致无关操作也获得信号；可以按依赖相关性重分配 advantage，只强化对最终 verifier 关注资源有贡献的 write/read 步骤，提升样本效率与训练稳定性。
- 工程实现上只需保存 execution trace 并解析命令间文件/变量读写关系，成本较低；在终端、代码或工具调用类 Agent 的 RL 训练中易于落地。
- 对电商搜索推荐中“多轮改写-召回-排序”的 Agent 链路，可以类比为命令依赖图，识别哪些改写或过滤动作对最终成交/点击有实际贡献，后续可用于诊断或弱监督信号设计。
幻境环境：在虚构世界中训练LLM智能体
🧭 规则生成合成环境训练搜索Agent ★ 深度解读
Cornell University · Stanford University
用零成本规则生成的虚构多跳问答环境做RL训练，得到可迁移到真实多跳基准的LLM搜索agent
📌 工作参考价值（4 点）
- 可构建规则生成的“虚拟商品/用户图谱”环境，以零边际成本生成多跳query-answer对，用于RL训练搜索/推荐agent，避免依赖LLM生成数据带来的幻觉和污染。
- 用纯线性跳数（hop）作为难度主轴，优先训练问题分解与逐跳检索；comparison类题型可按需混入50%以定向补强比较推理，不要盲目加constraints防止模型学会逐字query捷径。
- 真实业务数据有知识时效和memorization shortcut问题，可把规则环境作为跨域/新库存的鲁棒训练补充，尤其当线上query超出训练分布时；关闭knowledge advantage，让模型学通用搜索技能。
- 监控agent搜索调用次数随问题难度的缩放行为，可以作为训练质量指标；Qwen2.5在虚构环境交互后涌现线性search scaling，提示可将其作为模型是否掌握自适应检索预算的信号。
基于选择的结构化推理：迈向高效多模态搜索智能体
🧭 Agent推理效率优化·选择式结构化推理 ★ 深度解读
Apple · Carnegie Mellon University
将多模态搜索Agent的逐步推理从自由生成改为从候选库中并行选择，保持成功率且推理延迟降超90%
📌 工作参考价值（4 点）
- 在电商导购/搜索 Agent 中，把每轮规划从自由生成改成路由选择：预先定义 5-10 条高频决策候选，如“澄清需求 / 生成搜索 query / 比价 / 读图识别 / 基于证据作答”，让模型按上下文似然打分选择，再用选中候选引导 action 解码。这样能保留自然语言 guidance 的效果，同时规避自回归推理的延迟不可控。
- 工程上可直接复用“并行 prefill 打分”的做法：对候选文本做 teacher-forced logprob 计算，共享历史 KV cache，不需要额外分类头或 SFT warm-up；用 SGLang 的 logprob_start_len + max_new_tokens=0 可实现。候选库可离线维护，p95 延迟比自由生成稳定得多，适合在线流量。
- 训练层面，若用 RL 训练 Agent，可把“规划/路由选择”当作 categorical action，动作 token 保持常规 importance ratio；用 GRPO 更稳，GSPO/SAPO 多步更新时 selector-gradient 近似会损失精度，业务上可采用更多 rollout 或一次更新。
- 候选设计要注意两点：不要只打分 index，要打分完整自然语言文本的语义；库规模从 1 到 6 带来看得见的提升，所以可以先用日志聚类/高绩效轨迹总结出高频意图，再逐步扩展到 6-10 条。
快手 Explorer LLM-Rec 挑战赛 2026：推理式生成推荐
🧭 生成式推荐 · Semantic ID + LLM 推理 ★ 深度解读
Kuaishou
系统总结多任务推理生成推荐挑战赛，开源 OneReason 数据与评测，提炼推理监督、RL 与偏好优化的关键经验
📌 工作参考价值（4 点）
- 在生成式推荐中加入思考链（CoT）不一定提升效果，关键是控制推理轨迹质量。冠军方案发现，把命中目标 SID 的采样轨迹加入训练但 mask 掉答案 loss，只优化 reasoning 部分，可以降低 think 与 nothink 候选重叠，提升两者互补性；直接全量监督会伤害候选多样性。迁移到业务：做 reasoning 数据增强时，对 target 重复的轨迹要限制数量并控制答案监督强度。
- 不同域的推理收益不同，亚军方案采用混合格式：电商用 think，短视频/广告/直播用 nothink，效果优于全 think 或全 nothink。业务上多场景生成式推荐不必强求统一 SFT 格式，可按域验证推理格式的实际增益。
- 处理多任务 SFT 长度差异时，pack-level cross-entropy 有效：先在 pack 内按 token 平均，再跨 pack 等权平均，防止长 response 驱动训练。这对同时训练 item 理解、用户理解、推荐等任务尤其有参考价值。
- 层级 SID 的 RL 奖励稀疏问题可通过 prefix guidance + hierarchical credit assignment 缓解：仅在无正确前缀时补充前缀引导，advantages 计算只比较同一父前缀下的候选，mask 掉给定前缀的梯度，避免只学会浅层一级码，提升全 SID 命中率。
AdviSD：通过定向多轮自蒸馏训练前沿 LLM 的顾问模型
🧭 小型 advisor 训练 · 定向自蒸馏 + GRPO ★ 深度解读
Google · University of Southern California
用配对评分筛选哪些反思修正值得监督，训练小型 advisor 通过自然语言建议提升冻结 Gemini/Claude 的工具调用与多轮 agent 表现
📌 工作参考价值（4 点）
- 对调用黑盒 LLM API 的电商/Agent 场景，可以用小模型做外部 advisor，不必微调 frontier 模型；AdviSD 的配对评分过滤不依赖 executor logits 或额外 rollout，工程成本低。
- 训练时把“修正生成”和“选择哪些修正用于监督”解耦：用 pre-update advisor 对同一 executor 回复计算 with/without advice 的平均 log-prob 差，只保留差值超过阈值的决策；不要学所有反思修正，尤其避免学对 executor 行为无影响的“正确但无用”建议。
- 对原始 abstention 决策要单独 bypass：因为无 advice 时 with/without 上下文相同、score 差为 0，容易被过滤掉；保留被 reflection 标记的 missed advice 可提升 0.6–1.7 点。
- 做消融时加 matched-count random control，能区分“少学一点”和“选得对”；阈值可以用 donor advice（其他任务 advice）在 pilot 上校准并固定。
PivotOPD：多轮智能体从关键错误中学习恢复
🧭 Agent 多轮训练 · 关键错误恢复 ★ 深度解读
Princeton University · NVIDIA · University of Maryland
在关键轮做预防式 reverse KL、后续轮做恢复式 forward KL，大幅提升多轮 Agent 从关键错误恢复的成功率
📌 工作参考价值（4 点）
- 多轮 shopping/search agent 中，用 teacher hindsight 检测 pivotal mistake，把密集蒸馏信号集中在关键轮及后续恢复窗口，比均匀蒸馏更划算；在 WebShop 这类电商环境里，成功率提升明显大于部分得分，说明可把半途任务转化为完成订单。
- 若没有环境 oracle，可直接用较大 LLM 回读轨迹，选 candidate turns 并给出 gold action，与 student 实际 action 不一致就视为 pivotal；ALFWorld 上这种检测在 77.8% 失败轨迹中落在 oracle pivotal 附近，足够用于训练。
- 目标构造可复用：frozen student + gold/recovery action hint 作为 privileged self-teacher，生成学生风格的 token 级目标；预防用 reverse KL 压住错误动作，恢复用 forward KL 覆盖低概率恢复动作，两者放进同一个 PPO advantage 更新。
- 恢复预算 K 按任务调：短链路取 K=1，长动作链恢复取 K=2；蒸馏 advantage 建议 clip，preventive weight 设小，恢复序列只保留可解析且不泄露 hint 的回复。
虚假前沿：自进化搜索智能体中协同作弊的诊断与缓解
🧭 自进化搜索智能体 · 交叉拟合反馈 ★ 深度解读
Rutgers University · University of California, San Diego · University of Michigan · McGill University · King Fahd University of Petroleum and Minerals
诊断自进化搜索智能体中 proposer 与 solver 共享错误导致的协同作弊，提出 CrossFit 源级交叉反馈，错误一致率减半且下游平均提升 8.8/8.4 点。
📌 工作参考价值（4 点）
- 自进化/自训练闭环中，内部 feedback 上升不代表外部正确性提升。建议引入独立审计（如用更强 LLM 或外部证据），监控 false agreement，防止 proposer 与 evaluator 共谋。
- 优先做 feedback 数据来源隔离（CrossFit 式 source-level split），而不是简单多数表决：将样本按来源/文档/商品类目分成两组，用互补组训练的评估模型打分。这一思路可直接迁移到电商 query 生成、push 文案选择等场景。
- 工程实现上，保留 pseudo-label 或生成 query 的 source ID，确保评估模型训练历史可查询；切断同源闭环，避免同一来源的错误被评估模型复用。
- 若资源有限，优先投入 source-exclusion，而非增加采样次数做 MSV：MSV 单独只提升 0.7-0.8 点，计算开销却增加约 90%；CrossFit 在计算增加 36%-40% 下带来 8-9 点下游提升。
从扰动公开文档合成训练数据提升大模型上下文学习能力
🧭 LLM 合成数据与上下文学习训练
AllSpark Team
用少量扰动公开文档合成10k上下文推理样本，将35B模型CL-bench从13.7%提升至24.6%，媲美万亿参数模型
📌 工作参考价值（4 点）
- 用于电商知识库/RAG 助手训练：把产品说明、活动规则、广告政策等内部文档做同义改写/扰动，再生成需逐段推理的问答，只保留“去掉文档就答不对”的样本，可低成本造出强迫模型依赖上下文而不是记忆的数据。
- 两阶段训练：SFT 提升基础上下文跟随，再接 rubric-reward RL 用评分准则作奖励，在少量数据（10k）下把小参数 MoE 模型拉到接近大模型；适合业务中无法大规模标注的场景。
- 过滤机制可复用：用改写前后答案变化、引用证据检查等方法自动筛选高质量上下文依赖样本，避免合成数据里混入可通过参数知识回答的“伪上下文”样本；对长商品描述、多轮 Agent 工具结果等场景尤其有价值。
- 观察到的迁移：改进集中在长上下文理解、指令遵循和推理，对代码和知识影响小。如果业务目标是让模型在复杂上下文里做推荐决策/政策合规，可比通用知识注入更精准。
SLCA-GRPO：解决工具调用强化学习中的跨段信用错配
🧭 工具调用 RL · 分段信用分配 ★ 深度解读
Peking University · Shenzhen University · Tencent PCG QQ Team
将工具段与总结段优势解耦路由，从结构上阻断 summary 奖励对工具 token 的梯度泄漏
📌 工作参考价值（4 点）
- 在工具调用 agent 的 RL 训练中，若总 reward 同时包含工具执行质量与最终回答质量，标准 GRPO 的统一 advantage 会把 summary 噪声传到 tool token。可将轨迹按 token mask 自动分为工具段与总结段，分别做组内 z-score 并只路由到对应 token；几乎零额外成本，适合电商客服、订单查询等多 API 场景。
- 用 Schema-Guided LLM Simulator 替代真实 API 做 RL 探索：schema 校验给出确定性错误反馈，跨模型 LLM mock 生成合理响应，降低真实 API 成本与不稳定；这可以作为离线 RL 基础设施，尤其适合工具 namespace 大的 MCP 生态。
- 设计 process reward 建议拆成格式、工具名 F1、参数 key/value、并行度等子项（HierR），而不是单一稀疏信号；对要求低工具冗余的业务，可用类似 Success@阈值 指标优化平均工具轮数。
- 当模型该调工具却不调时，将 omission penalty 只路由到 summary 段，避免污染工具段，比在总 reward 上全局扣分更稳定。
腾讯混元 A13B 技术报告：80B 总参、13B 激活的 MoE 高效 LLM
🧭 高效 MoE LLM 与双模式 CoT 训练 ★ 深度解读
Tencent Hunyuan Team
开源 80B/13B 激活 MoE，通过双模式 CoT 与强化学习在推理和 Agent 任务上逼近更大模型且吞吐更高
📌 工作参考价值（4 点）
- 双模式 CoT 可用于生产级 LLM 路由：/no think 适合商品问答、摘要、搜索 query 理解、自动补全等高 QPS 低复杂度场景；/think 适合购物导购规划、广告投放策略、深度搜索等复杂 Agent 任务。可按 query 复杂度、用户延迟预算或任务类型做策略路由，省 token 降延迟。
- Agent 数据构造方法可直接迁移：多角色合成引擎（user/planner/tool/agent/checker）+ 沙箱/MCP/合成工具 + 30 类系统指令 + 20K 格式组合，能低成本生成多样化工具调用数据；再针对高频任务（Excel 处理、深度搜索）做增强，适合电商购物助手、广告 Agent、搜索 Agent 的 SFT 数据 pipeline。
- Agent RL 奖励设计值得复用：格式奖励（特殊标记与顺序正确给 1）+ 正确性奖励（tool/parameter/value 一致性）能稳定训练工具调用；对推荐/广告投放的 API 调用、商品搜索参数解析等可定义可验证奖励，再叠加 sandbox 或执行反馈做 RL。
- MoE 推理部署配置可作为选型参考：80B 总参、13B 激活，配 GQA、Expert Parallel、FusedMoE，支持 vLLM/SGLang/TensorRT-LLM 与 INT8/W8A8/KV Cache FP8，batch 32 约 1982 tokens/s；对实时推荐/Agent 场景，快思考模式 + 量化可显著降低推理成本。
面向LLM的全流程FP8强化学习训练稳定性优化
🧭 FP8强化学习训练稳定性优化
University of Wisconsin–Madison · ByteDance Seed
揭示FP8全流程RL中量化噪声扭曲importance ratio导致训练崩溃，提出Calibrated Clipping动态校准剪切界
📌 工作参考价值（4 点）
- 若在电商搜索/推荐Agent或生成式推荐中用FP8做RL微调，除train-inference mismatch外，需重点监控entropy surge和输出乱码，这是重要性比被量化噪声扭曲的早期信号。
- Calibrated Clipping可迁移：在低精度训练时，动态对齐FP8与BF16分布的低位分位数并重新平衡上界，能防止negative-advantage tokens梯度被错误零化，适合GRPO/DAPO等常见RL算法。
- 对生成式推荐或Agent策略优化，FP8全流程加速价值大，但直接套用预训练FP8配置有风险；建议在RL阶段引入基于分位数的动态clipping机制，并监控importance ratio分布。
- 若业务中同时使用多种FP8 scaling granularity，该方法在不同粒度上均有效，可作为通用稳定性补丁。
OPTED：基于无渲染教师的端到端驾驶在线策略微调
🧭 特权教师 on-policy 蒸馏
用RL训练矢量输入特权教师，在闭环中蒸馏至摄像头学生模型，大幅减少模拟器交互成本
📌 工作参考价值（4 点）
- 特权教师蒸馏可迁移到推荐/广告：实际线上受限于特征获取延迟或算力，可训练一个输入全量特征（如用户画像、后验转化、上下文）的教师模型，再将知识蒸馏到实时轻量学生模型；在日志回放模拟器中做 on-policy 更新，比直接在线 RL 成本低几个数量级。
- 用离线数据重建用户交互模拟器：类似 3DGS 从真实驾驶日志重建场景，推荐系统可基于离线日志构建用户状态转移模拟器，用于策略微调；能部分替代高成本线上 A/B，缓解行为克隆的开环偏差和状态分布偏移。
- on-policy 微调优于纯行为克隆：推荐/排序策略仅在离线日志上训练，线上易出现 compounding error；在模拟器中进行 on-policy 蒸馏或 RL 微调可改善鲁棒性，且教师提供密集监督信号，避免直接 RL 稀疏奖励难训练的问题。
- 教师可以无渲染（render-free）：若学生需要处理高维原始特征（文本、图像），教师仅使用结构化特征训练并在闭环中生成监督，可避免昂贵的前向模拟，降低训练成本；对 Agent 或生成式推荐中的策略蒸馏有借鉴意义。
ScienceIDE：将全球科学代码库转化为智能体可学习环境
🧭 科学智能体环境构建与模型训练
AItonomy Foundation · PhAI-Labs
提出ScienceIDE基础设施，将科学代码库转化为可编程环境，训练PhAI-IDE模型家族在科学代码修复与通用基准上获得提升
📌 工作参考价值（4 点）
- 构建领域专用可执行环境：可将推荐系统、广告投放等业务代码库封装为类似 Gym 的交互环境，提供任务生成、执行、验证 API，自动生成 SFT 和 RL 训练数据，降低人工标注成本。
- 专家定义验收标准：在业务中明确可量化的验收指标（如 CTR、ROI、延迟），让 Agent 围绕这些标准迭代优化，可作为奖励函数设计依据，提升训练信号质量。
- 环境与模型协同训练：利用环境生成的交互轨迹训练 LLM，使模型不仅能生成代码，还能操作业务系统，提高 Agent 在真实任务中的成功率。
- 正向迁移验证：科学领域训练带来的通用能力提升提示，在电商/推荐领域积累的领域交互数据也可能反哺通用模型，可探索内部数据训练基础模型的新路径。
Learning to Coach：训练 LLM 教练从轨迹中提取可操作经验
🧭 LLM 教练 · 经验学习与多智能体协作 ★ 深度解读
Microsoft Research · Tsinghua University
训练一个 LLM-as-a-Coach 用 GRPO 从冻结 actor 的轨迹中提取经验，以引导正确性为奖励，显著提升推理与交互游戏表现
📌 工作参考价值（4 点）
- 分离 actor 与 coach，避免主模型微调：在电商推荐/搜索 Agent 中，可保持主策略或大模型冻结，训练一个轻量 coach 从用户会话、行为轨迹、失败案例中提取可操作经验（如用户偏好摘要、失败原因、下一步策略），作为上下文注入主模型，既保留主模型通用能力，又降低全量微调成本。
- 用下游可验证指标直接训练 coach：将点击、转化、任务完成等可验证业务指标作为 reward，通过 GRPO 训练 coach 生成对特定 actor 更有用的经验。same-instance reward 用于纠错和保留问题细节，cross-instance reward 鼓励提取跨用户/跨品类/跨场景的通用规则，可借鉴到跨域推荐或策略迁移。
- 迭代式经验更新，算力用在刀刃上：让 coach 在多轮交互中不断更新并缩短经验笔记，逐步收敛到更精炼的指导信息，降低后续推理成本。论文证明将额外算力花在迭代 coach 引导上比单纯扩大 actor 解码预算更有效，这对于生成式推荐或 Agent 多步决策的推理优化有直接参考价值。
- OOD 迁移潜力：在可验证任务上训练的 coach 可迁移到较难推理、交互游戏、指令跟随等未见任务，说明这种“经验提取”能力具有一定通用性，可用于跨任务的知识蒸馏与复用。
训练 Nemotron 攻克 IMO 金牌的开源配方
🧭 数学证明生成 · 测试时搜索与RL ★ 深度解读
NVIDIA
开源三 checkpoint 生成-验证-精炼管线在 IMO 2026 达 30/42 金牌线，并发布后训练与推理全栈
📌 工作参考价值（4 点）
- 多模型/多后训练 checkpoint 的异构集成比单模型增加采样次数更有效：在生成商品标题、搜索 query 或 Agent 动作方案时，同等 token 预算下分配多个互补模型生成候选，比单模型重复采样更容易覆盖不同解空间，类似推荐中的 ensemble diversity。
- 把「搜索期验证」与「最终选择」解耦：搜索期验证需要低假接受和可操作的反馈，最终选择需要更贴近真实奖励的昂贵评分器；对应粗排/精排/重排的分离，且最终重排可投入更多算力，不必复用搜索期评分。
- 验证器错误代价不对称：假接受导致搜索提前终止且不可恢复，假拒绝只增加时间和成本；在业务 pipeline 中若线上错误代价高，应设计保守阈值，并允许延迟恢复。
- 保留候选池和跨轮精炼：搜索中不直接丢弃高分但未过验证的候选，下一轮继续精炼；适合电商/Agent 中长尾候选，避免 aggressive triage 淘汰后期有价值方案。此外记录 token/GPU 小时资源核算有助于生产部署预算规划。
重新审视完整推理轨迹在后训练中的作用
🧭 LLM 推理后训练 · 轨迹截断
NAVER AI Lab
完整推理轨迹对SFT收益有限，仅用端点训练更高效且可迁移到RL和蒸馏
📌 工作参考价值（4 点）
- 在训练 LLM 生成推荐理由、商品卖点、搜索 query 改写等推理链时，可只保留结论或关键步骤，不必收集完整思维链；中间冗余 token 会分散学习，截断后模型可借助内部知识补齐缺失步骤。
- 使用端点（如最终答案/推荐结果）作为 SFT 目标，能提高样本利用效率，降低 token 长度与训练成本，尤其适合大规模商品语料和长推理场景。
- 对基于 RL 或 on-policy distillation 的 Agent 策略优化，可考虑用部分轨迹或关键状态对替代全轨迹，减少冗余更新和奖励 hacking，保持推理行为稳定。
- 在构建电商问答/搜索推荐 Agent 的训练数据时，优先定义任务端点和关键中间约束，而非依赖完整长文本；该发现支持用更简洁的监督信号。
多模态智能体图像生成与编辑全栈方案
🧭 多模态 Agent 图像生成编辑全栈
Weixin AI, Tencent
提出全栈式多模态 Agent 方案，含运行时、数据、基准与后训练，30B总/3B激活策略逼近1T参数 agent 性能
📌 工作参考价值（4 点）
- 在电商商品图/营销素材生成 Agent 中，借鉴其「持久证据管理 + dense carrier」设计：将商品属性、品牌规范、历史文案等检索到的多模态证据沉淀为统一上下文，避免每轮重复检索，提升多轮编辑一致性。
- 把 verification/integration 拆成独立工具而非塞进 policy 模型，降低策略模型负载并提高可靠性；在推荐/搜索 Agent 中可加结果验证与证据融合工具，先验证再输出。
- 用三层可验证 checklist 构建 RL 奖励，解决生成/推荐任务难以自动打分的痛点；可迁移到文案生成、创意推荐的离线评估。
- 小参数策略（3B active）通过 SFT+RL 后训练接近大模型，适合线上成本敏感场景；数据构造上优先合成 prompt + agent trajectory，再 SFT 后 RL。
两阶段强化学习生成可靠对抗测试用例提升代码 LLM
🧭 代码 LLM 测试生成 · 对抗 RL
Nanyang Technological University, Singapore · Skywork AI
提出两阶段 RL 测试生成框架 TCS，先学可靠测试再对抗生成反例，提升代码生成 pass@1 与答案选择
📌 工作参考价值（4 点）
- 若业务任务具备可自动验证的 reward（如商品属性合法性、SQL 可执行、Promo 规则检查、点击/转化模拟器），可借鉴 TCS 两阶段生成器：Stage 1 贴近参考解/规则生成合法样本，Stage 2 针对线上模型常见失败模式生成反例，用于训练更鲁棒的排序/生成模型或筛选候选。
- 将测试生成器作为可学习的 critic：在电商 Agent 或推荐 query/文案生成中，训练一个判别器为候选输出打分，替代或辅助人工评审；用当前策略的失败样本构造滚动缓冲，持续挖掘 hard negatives，提升候选筛选的区分能力。
- 推理时选择：生成多个候选推荐理由/搜索 query/广告标题，用学到的检查器自动过滤不合格输出，降低低质量内容上线风险；类似无参考评估，适合在线管道。
- 注意领域差异：代码执行反馈明确且低成本，电商反馈（点击/转化）噪声大、延迟高，需用离线模拟器或业务规则先构造可信 reward，不宜直接照搬对抗 RL 的完全在线迭代。
SciLENS：RL驱动的本地科学文献证据导航与综述智能体
🧭 Agent 科学文献证据导航
Tsinghua University · Renmin University of China · Institute of Information Engineering, CAS · USTC · Peking University
全本地科学文献Agent，以结构可视化与逆向分解过程奖励训练，性能对标GPT-5.2
📌 工作参考价值（4 点）
- 把“结构可视化”作为 agent 可调用工具放进推理循环：在电商知识图谱（商品、类目、品牌、共购关系）上先抽取多跳子图，压缩成图表/拓扑摘要喂给 LLM，避免原始实体列表塞满 context；适合类目规划、趋势综述、归因分析等宏观任务。
- 自动化标注管道：用已有行为图/商品知识图谱构建多跳子图问题，采用多模型共识（如 3-5 个强模型投票）过滤，零人工标注生成用于推荐/搜索 agent 的监督与 RL 训练样本。
- 逆向分解式过程奖励：奖励不只给最终答案，将最终证据链反推成“规划→检索→引用”的 rubrics，分别给过程 reward；可迁移到购物助手、搜索 agent 训练，约束中间过程必须引用真实商品/证据，提升可追溯性。
- 全本地双 tier 索引+LLM：若业务对隐私/合规有要求，可参考本地向量库+图索引服务约千万级商品/内容，既保证离线可部署，又降低 API 成本，适合电商搜索/推荐中的合规助手。
FlowBalance：验证器校准的轨迹平衡自改进
🧭 LLM 自改进训练 · 轨迹平衡
Tencent HY LLM Frontier · University of Pennsylvania
用 verifier 校准 on-policy 自引导分数，并通过轨迹平衡训练稳定的推理自改进
📌 工作参考价值（4 点）
- 在生成式推荐/QueryRec 的 LLM 后训练中，若已有 outcome verifier（如点击、转化、相关性），可借鉴 group advantage 校准 self-guidance 符号：正优势保留密集信号、负优势反转、无偏好时禁用，避免 dense same-model 信号强化伪自信。
- 轨迹平衡替代逐 token 模仿 loss，对长文本生成（推荐理由、搜索词扩展、商品文案）训练更稳定，能缓解长度坍塌和模式集中，适合带 terminal reward 的离线增强场景。
- 冻结策略视图产生自引导分数的方法，可在 RLHF/DPO 管线上低成本复用，减少额外 critic 或 token 级标注需求；若业务能定义可靠 verifier，可让 LLM 在搜索推荐 Agent 的推理链路上保持策略多样性。
- 无明确 outcome verifier 或奖励稀疏的业务场景，方法借鉴价值有限，主要适用于可自动判定的任务（如数学、代码、结构化查询生成）。
Iris：攀登搜索前沿
🧭 搜索 Agent 训练与评估方法 ★ 深度解读
AllSpark Team
通过网页超链接反向构造多跳搜索任务、双层轨迹过滤与SFT-RL迭代爬升，训练出开源同参数范围最强的搜索Agent
📌 工作参考价值（4 点）
- 数据合成：在电商/推荐的 QA、选品理由、query 改写数据中，把可搜索锚点（商品标题、类目名、品牌名）改写为描述性引用，消除字符串匹配捷径；再用双条件验证（闭卷答错 + 给知识子图答对）筛出真正需要多跳推理的样本。
- 轨迹过滤：对 LLM 生成的推荐解释/搜索对话轨迹，用滑动窗口 zlib 压缩比快速检测重复和循环；turn 级 judge 从数据中归纳失败模式 rubric，只 mask 最多 10% 差 turn，保留上下文、减少训练噪声。
- RL 工程：长会话训练可用 request-level partial rollout 中断并在下步从 committed prefix 恢复，配合 truncated importance sampling 纠正不同权重版本的 logprob 偏差；集群内部署 GenRM 与摘要器，避免外部 API 依赖。
- 评估/上线：将 context management 与策略能力分开报告，固定工具、上下文预算、judge，分别看无 CM 和有 CM 的结果；识别 CM 收益来自任务是否经常耗尽上下文，高成本重试只作为上限探索，不作为默认配置。
尾部似然强化学习
🧭 生成式策略的尾部优化RL训练
Carnegie Mellon University · University of California, Berkeley · Impossible, Inc. · Together AI · Aurora Innovation
通过最大化超过随机奖励阈值的对数概率，保留生成式策略对稀有高奖励样本的覆盖，提升Best-of-k性能
📌 工作参考价值（4 点）
- 在生成式推荐/搜索词/广告文案场景用 RL 优化连续奖励（点击率、转化价值）时，可借鉴 TailRL 将连续奖励按随机阈值二值化，转化为“超过阈值”的成功事件，让训练更关注高价值尾部样本，避免模型只学会平均平庸输出。
- 推理阶段若使用 Best-of-N 采样/重排序，训练时需保留高奖励候选的覆盖。TailRL 的梯度可视为 Best-of-k 梯度混合，能防止尾部坍塌，直接提升线上多候选采样收益。
- 工程实现成本低：只需修改 advantage 函数或奖励处理逻辑，兼容已有 RLHF/GRPO/PPO 流程，适合现有 LLM 推理微调管线快速验证。
- 对回报分布长尾的业务（大促高转化、高客单、优质内容）尤其有效，可通过动态阈值模拟不同业务指标分位，平衡模型在不同难度目标间的泛化。
PaperGym：以评分量规为核心的科研计划生成进化训练框架
🧭 LLM 研究计划生成 · rubric 驱动 RL
Zhejiang University · Apple
把每篇论文拆成训练环境：问题来自目标/背景、标准来自方法/实验，用 rubric 做自蒸馏与 GRPO 奖励，显著降低泄漏并提升计划质量
📌 工作参考价值（4 点）
- 做 LLM 文案/query/商品标题生成的 reward model 时，别让 reward criteria 与训练样本来自同一段内容：把任务输入从目标/背景合成，评估标准从方法、实验结果或业务指标独立抽取，可明显降低 paraphrase leakage（PaperGym 降到 3.7%）。
- 奖励 rubric 不要拍平成一个标量：按方法创新、实验设计/业务效果、可执行性等维度分别计分，能抑制 reward hacking，并给 GRPO 更细的奖励信号。
- 两阶段复用 rubric 的训练顺序值得搬：先让 self-teacher 用 privileged rubric 做蒸馏（OPSD），再把它当 GRPO 奖励；类似电商文案训练可先提供高维商品属性/卖点做 SFT，再用多维评分做 RL。
- 把历史 campaign/实验报告变成 RL 环境：用 campaign goal/background 作为问题，用实际方法论与效果指标构造 rubric，可形成低泄漏的训练数据飞轮。
用世界模型扩展自动研究智能体训练
🧭 智能体 RL 训练效率优化
University of Illinois Urbana-Champaign · Amazon
用世界模型替代真实环境执行，消除 AutoResearch RL 训练瓶颈，并引入去偏与降噪提升稳定性
📌 工作参考价值（4 点）
- 面向 Agent 后训练 RL：当环境交互成本远高于生成成本时，可训练一个世界模型替代真实环境执行，缓解训练吞吐瓶颈；在电商场景可模拟用户点击、搜索反馈等环境动态。
- 世界模型奖励存在偏差和噪声时，可借鉴 Online Debiasing 维护偏差估计并修正奖励，结合 Inverse-Variance Denoising 对高方差样本降权，提升 RL 训练稳定性。
- 小模型智能体后训练：用世界模型蒸馏环境反馈，可在有限算力下让 4B/9B 智能体逼近甚至超过更大开源模型，适合业务侧轻量级 Agent 部署。
- 该方法在 embodied VLA 策略上也有效，说明世界模型 RL 的分离生成与执行成本的思路具有跨任务迁移潜力。
ProRetrieval：通过可执行程序合成学习编排混合检索
🧭 LLM检索编排 · 可执行程序合成 ★ 深度解读
East China Normal University · New York University · Matter Innovation Inc. · ThinRedLine · Shandong University of Science and Technology
将LLM训练为检索编排器，生成SQL+向量原语的DSL程序，4B模型在电商/邮件Hit@1超越GPT-5.5
📌 工作参考价值（4 点）
- 用 SQL 作为混合检索的融合骨架：让模型输出 sql + retrieval_list，向量检索 top-K 候选集通过 id IN <text_0>/<image_0> 占位符注入 SQL，天然支持 AND/OR/NOT 和嵌套。电商搜索/广告召回里，可以用同一套 DSL 统一编排品牌、价格、类目等结构化过滤与文本/图片向量召回，替代硬编码 RRF 或只支持 AND 的 self-query retriever。
- 小模型 + RL 比 few-shot 大模型更划算：Qwen3-4B 经 SFT + GRPO/DAPO 训练后在 DSL 检索编排上超过 GPT-5.5，执行成功 >99%，单 query 推理约 50ms。适合需要低延迟、低成本但复杂查询解析的线上检索服务，4B 部署在单张 RTX 4090 即可。
- 复杂动作空间下 SFT 存在多任务干扰，RL 是解锁多模态的关键：全 DSL SFT 反而不如只保留 SQL+text 的受限 DSL，但 RL 能让图片检索 Hit@1 从 0.323 提升到 0.716。如果业务只做结构化+文本检索，先上受限 DSL 的 SFT 即可；要加入图片召回，建议走 SFT→RL 路径。
- 分层奖励与 DAPO 稳定性值得复用：format→execution→result→length 的奖励设计天然形成隐式优先级，可以让小模型快速学会可执行程序格式；DAPO 非对称裁剪比 GRPO 更稳定，生产部署优先选 DAPO。工程上注意 SQL 转义问题（如品牌名含撇号）并加执行失败 fallback。
EviGraph：面向信息搜索智能体的可验证证据构建
🧭 Agent 搜索证据图与过程奖励 RL ★ 深度解读
WeChat, Tencent Inc., Beijing, China
将智能体网络搜索重构为可验证证据图构建，以共享策略分离搜索与证据记录，用稠密过程奖励直接监督证据基础
📌 工作参考价值（4 点）
- 对电商导购/搜索 Agent：把「检索到的商品或卖点」与「用户查询约束」显式建图，每个卖点必须锚定来源 span 并标记 support/conflict；可避免用相关但时间、地区、数值错误的页面回答，适合商品事实校验、选品问答、推荐理由生成。
- 采用「冻结 verifier + 确定性 structural validator + 可学习 policy」的分离架构：把不可靠的语义判断和结构化校验分开，policy 只提图编辑请求，错误可局部归因；工程上可用规则引擎做图校验，降低对单一 LLM 的依赖和幻觉。
- 过程奖励设计可迁移：coverage 用 potential-based shaping，配合 canonical signature 去重、per-triple bonus cap、KL penalty，能抑制 reward hacking 和重复记录；可用于训练搜索/推荐 Agent 的中间 grounding。
- 多约束查询可拆成 candidate–constraint claim，每个 tag 独立追踪 MISSING/SUPPORT/CONFLICT，适合电商商品属性（产地、年份、价格、代言人）验证和 push 文案事实核查，让 Agent 明确知道还缺哪些约束。
SkillForge：通过可验证技能演化训练强化学习智能体
🧭 Agent 技能演化与 RL 训练优化 ★ 深度解读
AMAP, Alibaba Group
让 LLM Agent 通过显式技能调用和基于证据的验证，在 RL 训练中持续积累并修正可复用技能
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 中，可将经验从原始日志蒸馏成结构化技能（title/intent/principle/when to apply），检索时只注入 title+intent 的紧凑目录，调用后展开完整内容，能控制 prompt 长度与 KV cache，适合技能库/策略库持续膨胀的场景。
- 借鉴 evidence-based verification：对每条技能/策略模板维护 EMA 成功率与调用次数，计算 underperformance score，优先让 LLM 反思和改写高失败率策略；可用于推荐 Agent 的 prompt 模板、工具选择策略、query 改写规则库的持续治理。
- 显式技能调用标签把技能使用变成可归因事件，RL 或线上日志可直接统计哪些策略真正影响转化/点击，避免“注入一堆 prompt 但不知道有没有用”；可迁移到生成式推荐的 Semantic ID 策略库或多 Agent 工作流节点的版本管理。
- 多路径技能归纳：从成功会话抽取、失败会话提炼修正、成功/失败对比分析差异生成新策略，且弱模型演化出的技能可迁移到强模型，能降低高质量策略库的生成成本。
DARS：双层信用分配强化学习与结构化推理的图像编辑框架
🧭 多模态图像编辑 · 强化学习信用分配
South China Normal University · KlingAI Research
提出 DARS，在 planner-renderer 图像编辑中通过模块间与模块内双层信用分配，将最终奖励分解为局部监督信号，提升 RL 训练效率
📌 工作参考价值（4 点）
- 在多阶段推荐/Agent 系统中（如 planner-renderer 或召回-排序），用 multi-plan multi-render rollouts 估计模块间和模块内的 reward variability，作为 soft module routing 权重，替代简单的联合 RL 端到端更新，可避免梯度分配不公导致模块优化失衡。
- 让 LLM 输出结构化字段（如意图、对象、动作、约束四字段）而非自由文本，配合 prefix-gated reward 和 token-level advantage reweighting，可将最终业务指标（如成交、点击）奖励分解到关键生成的 token，提升生成式推荐理由/query 的可控性和训练效率。
- 自适应课程：利用 rollout 的平均奖励作为样本难度指标，动态调整训练集中难易样本比例，适合电商场景中长尾/困难样本（如复杂意图 query、小众商品）的针对性优化。
- 跨模块与模块内双层信用分配框架可扩展到“LLM 生成 query -> 检索器执行”的两阶段系统，解决最终指标不好归因于 query 生成还是检索执行的问题。
基于 LLM 反馈的策略不变奖励塑形：混合 RL Agent 框架
🧭 LLM 反馈的奖励塑形理论保证
African Institute for Mathematical Sciences, Rwanda · AI Research and Innovation Nexus for Africa (AIRINA Labs), AI.Technipreneurs, Bénin · Sefako Makgatho Health Sciences University (SMU), South Africa · African Center for Advanced Studies (ACAS), Cameroon
证明 LLM 进度分作为有界势函数做奖励塑形不改变最优策略，即使评分不准
📌 工作参考价值（4 点）
- 若在搜索/推荐 Agent 中用 LLM 生成稠密进度奖励（如多跳查询完成度、任务分步得分），建议写成 potential-based shaping：r + γΦ(s') - Φ(s)，并把 Φ 限制在有界范围；这样即使 LLM 打分有偏，理论上不会改变真实业务目标下的最优策略，可安全加速训练。
- LLM 适合做 planner 输出子目标，RL/底层策略负责动作执行；可将 planner 的解析率、子目标覆盖率等指标单独离线评估，避免直接耦合训练导致难调试。
- 关注 LLM 输出词表与环境动作/oracle 的 mismatch：例如 autocomplete 或 query 改写中，LLM 生成的 action/slot 值若无法被执行环境解析，会造成虚假失败/奖励污染；需在 parser 层做规范化和映射。
- 理论保证只适用于 shaping 项，不应替换核心业务奖励（点击、转化、GMV 等），建议仅作为辅助信号引入。
学习未掌握部分而非已掌握部分：多奖励策略优化的饱和感知优势重加权
🧭 LLM 后训练 · 多奖励 RL 优化
University of Florida · UC San Diego · Northeastern University · Northwestern University · Stanford University
提出 SA-MRPO，独立标准化各奖励并按批次饱和度动态折扣优势，将优化重心转向未饱和目标，提升困难指标性能
📌 工作参考价值（4 点）
- 多目标 RL 微调时，不要先固定加权求和再标准化优势；改为对每个奖励独立标准化，并在每个 batch 估计目标饱和度（如 batch 平均奖励接近上限）来动态折扣其梯度贡献，可让模型自动将优化重心转向未达标目标，避免简单指标吸干预算。
- 推荐系统多任务学习可借鉴“饱和度感知动态损失权重”：每隔若干 step 根据验证集或 batch 上各目标当前水平计算饱和度，自动降低已达标任务的损失权重，把容量留给困难目标（如转化率）。
- 工程实现成本低：只需在 batch 内统计每个奖励的均值或分位数，设计递减函数（如 1 - 均值/上限）生成权重，无需额外超参或元学习，易嵌入现有 GRPO/PPO 流程。
- 多目标场景下应监控指标是否已达标，适时冻结或降低其训练信号，将 RL 信号导向更难提升的目标，符合“保持已满意水平而提升困难目标”的实践原则。
UI-Mate：通过上下文演示提升开源权重基础 GUI 智能体
🧭 GUI Agent 训练与上下文演示
Tencent Hy Frontier Team
UI-Mate 结合环境驱动训练栈与上下文演示学习，在 OSWorld 等基准刷新开源 GUI 智能体 SOTA
📌 工作参考价值（4 点）
- 任务验证器与闭环数据引擎：可复用到电商 RPA、客服助手等 GUI 操作场景，用统一的 task–verifier bundles 自动化生成、过滤和平衡训练数据，减少人工标注。
- 演示学习的方式：将多模态演示转成 subtask-level workflow 而非刚性轨迹回放，同时允许从实时界面重新规划——适合电商中用户特定工具、隐性规则（如改地址需二次确认）的场景。
- 区分 self-demo 与 variant-demo：在构建演示数据库时，应分离同任务成功轨迹与相似但非同一任务的人类录制，有助于评估和提升模型对未见变体的泛化能力。
- 评测指标：除了 strict success，还引入 progress 指标，对长流程电商操作（如比价、下单、售后）更细粒度地反映中间进展，适合作为内部迭代指标。
扫清迷雾：在 LLM Agent 中植入与精调主动探索能力
🧭 LLM Agent 主动探索训练 ★ 深度解读
Sichuan University · National University of Singapore · University of Leeds · Engineering Research Center of Machine Learning and Industry Intelligence
通过探索性数据构建和对比信号引导强化学习，大幅提升 LLM Agent 在多轮交互任务中的主动探索与决策能力
📌 工作参考价值（4 点）
- 电商购物 Agent 的训练数据要包含探索轨迹：标准人类专家轨迹中探索动作几乎为 0（如 WebShop 中 Next/Back 仅 0.1%），导致 SFT 后的 Agent 只会被动执行、不会翻页回溯。可以用强 LLM 配合树结构上下文，合成包含主动搜索、回溯、分支尝试的探索丰富轨迹，作为 SFT 初始化数据。
- 用树结构管理会话历史，避免长程任务中的上下文迷失：在电商搜索、多轮比价等场景，线性的 action-observation 历史会混淆有效路径与废弃分支。借鉴论文中的 tree-structured history + cognitive notes，在 Agent 内部显式维护分支、回溯指针和状态标注（如 [DEAD END]、[SUB-OPTIMAL]），能显著提升策略的探索质量。
- 用对比偏好对 + DPO 校准「探索 vs 执行」的决策边界：在关键状态上，采样学生动作与参考动作，通过 MC rollout 估计各自未来回报，过滤小差距对后做 DPO。这套机制可以迁移到推荐/搜索 Agent 的策略优化，让模型学会何时继续浏览、何时停止探索并做出购买/点击决策。
- 探索效率评估与难度分层分析：论文提出的 Eff = EE - WE 指标（有效探索减浪费探索）以及按任务难度分层统计探索强度，可用于业务中诊断 Agent 是否在做有效信息获取，而不是盲目增加交互步数。
ARC：开放世界真实交互中的公平相对优势比较
🧭 Agent RL 策略条件化优势估计 ★ 深度解读
Ant International
提出策略条件化 rollout 分组的 ARC 方法，消除跨策略奖励偏差，提升 agent 工具调用 RL 训练的公平性与稳定性。
📌 工作参考价值（4 点）
- 在对话式推荐/导购 Agent 中，如果存在“直接推商品”、“先反问偏好”、“确认订单/退款”等多种有效响应，可沿用 ARC 思路：训练时给每个 prompt 注入策略指令，按策略分组计算 GRPO/PPO 优势，避免奖励模型偏好某类话术；推理时去掉指令让模型自主选择。这比单纯加 KL 或 reward shaping 更直接解决跨风格奖励偏差。
- INTER3 的通道分离值得迁移到电商客服/导购场景：用户可见的 <answer> 流式输出与内部工具调用解耦，可以在查询库存/优惠/风控时立即给用户进度反馈，显著降低首 token 延迟（4.91s→1.27s）并支持用户打断；实现只需新增 <answer> 特殊 token 和后处理抽取。
- 多通道生成（推理 + 工具 + 用户文本）训练时建议加熵正则，否则易出现模型反复输出无意义 <answer> 块导致的 entropy collapse；混合奖励可结合工具执行结果与交互格式分项打分。
- 课程式减弱或推理时注入策略指令在 agentic 场景不可靠：策略提示应作为训练期方差控制变量保留，推理时不要依赖；这提示业务中不要试图用推断时 prompt 策略控制模型行为，而应在训练期把策略差异纳入比较结构。
Intern-S2-Preview：科学代理基础模型
🧭 科学代理基础模型 · RL与多模态训练
Shanghai AI Laboratory
构建科学多模态代理基础模型，融合强化学习训练与时间序列预测，支持长程科学任务
📌 工作参考价值（4 点）
- RL训练效率技巧可迁移至Agent策略优化：partial rollout with off-policy correction 和 adaptive length regularization 能降低长轨迹任务的训练成本，适合对话式推荐、搜索交互等场景的在线策略学习。
- online speculative decoding 可加速线上Agent服务推理，降低延迟，在推荐解释生成、实时对话等场景有直接工程价值。
- Memory Decoder（4B）作为冻结大模型上的轻量适配层，能快速注入垂直领域知识（如电商商品知识、广告文案规范），无需微调397B主干，规避大模型频繁更新风险，适合业务侧低成本定制。
- 时间序列预测模块扩展长序列理解到数值预测，可借鉴用于电商流量/销量预测、广告预算分配等业务时序任务。
生成式文档检索的 Token 级信用分配优化
🧭 生成式检索 · Token 级信用分配 ★ 深度解读
Shandong University · Peking University · Baidu Inc. · Leiden University
提出 TCA，用 gold hidden-state 轨迹对齐赋予每个 DocID token 细粒度奖励，并以 GRPO 位置归一化优化生成式检索。
📌 工作参考价值（4 点）
- 若在做生成式 item 检索 / semantic ID 生成，不要把 RL reward 当 sequence-level 标量广播到所有 token；可复用 TCA：冻结 SFT 参考模型，缓存 gold item ID 的 decoder hidden states，用当前生成 hidden state 与 gold 的余弦相似度作为 token 级 reward，再加 exact-match bonus 与长度惩罚，轻量且直接对齐解码轨迹。
- 用 GRPO 时，优势估计采用按解码位置在候选组内做标准化，而不是学习 value function；这在离散、trie 约束的 ID 空间中更稳定，尤其适合电商类目树或语义 code 类结构化 ID。
- 保留 constrained decoding / trie 约束；没有约束的 rollout 会生成大量非法或低质量 ID，token 奖励噪声大，NQ-PQ 上 R@1 掉 4.84。业务中生成类目路径或 SKU ID 时，RL 采样和推理阶段都要做合法前缀/路径约束。
- KL 正则强度按 ID 类型区分：lexical / title-URL 类 ID 用很小 KL(0.01) 防止语言模式漂移；semantic / PQ code 类 ID 敏感，KL=0 效果最好。电商场景若生成长尾商品标题或 ID，可按 ID 是否语义化调这个超参。
Macaron-V1：通过自改进与混合 LoRA 实现开放持续学习
🧭 Agent 持续学习与适配器组合 ★ 深度解读
Mind Lab
提出冻结基座 + 可组合 LoRA 专家的 MoL 架构与递归自改进循环，实现代理模型部署后持续适应与协作
📌 工作参考价值（4 点）
- 多域任务路由架构：将不同业务域（如对话、推荐、搜索）建模为独立 LoRA 适配器，冻结共享基座，通过 Proxy 按请求路由，避免任务干扰且支持独立更新，类似推荐系统中多目标 MoE 的路由分离。
- 版本化 harness 协议：HCP 将 prompt、工具、技能、环境等配置统一为 TOML 工件，可作为推荐 Agent 中工具与指令的线上可 audit 配置层，便于 A/B 测试和回滚。
- 长上下文执行与 KV 复用：通过可拼接的 own-view 实现跨适配器 prefix cache 命中，值得在多轮会话、长用户行为序列的 LLM 推理中借鉴，降低延迟。
- 递归自改进循环：从生产日志挖掘失败任务 → harness 配置搜索 → LoRA 更新，可复用至搜索推荐 Agent 的持续优化，逐步扩展能力边界。
CreativeInstruct：可扩展地教大语言模型平衡质量、创意与多样性
🧭 可控创意指令微调 · 特殊令牌注入
Columbia · UNC Chapel Hill · University of Texas at Austin
通过在指令微调中引入 [StartCreativity] 令牌，使 LLM 在保持后训练质量的同时恢复基模型的创意多样性
📌 工作参考价值（4 点）
- 在电商推荐文案、对话式推荐等需要创意和多样性的场景，可通过插入类似 [StartCreativity] 的特殊 token 控制生成风格，在不牺牲质量的前提下提升多样性。
- 图编辑距离的结构多样性指标可以用于评估推荐理由、产品描述或 push 消息的叙事结构多样性，弥补纯词汇或语义指标的不足。
- 在 RL 训练前先用 CreativeInstruct 增强基模型的创造性，能显著提升后续 RL 的效果，这对用 RL 优化推荐策略或对话 Agent 的探索能力有直接借鉴。
- 单一模型即可平衡质量与创意，避免部署多个模型或蒸馏带来的推理开销，适合线上低延迟生成任务。
DEGR：双探索驱动的生成式重排序实现自适应跨请求上下文桥接
🧭 生成式重排序 · 探索性奖励模型 ★ 深度解读
JD.com
提出双探索生成式重排序，通过混合监督-强化学习与探索性奖励模型自适应平衡即时与探索价值，提升电商推荐效果
📌 工作参考价值（4 点）
- 探索性奖励模型设计：将“序列探索价值”量化为可学习奖励，结合上游 pCTR 动态调整权重，在低质量候选集时自动优先保留浏览潜力，可直接迁移到搜索推荐的重排阶段，尤其适用于冷启动或召回质量波动场景。
- 混合优化范式（SL + EDC + AR-ORPO）：监督学习保持在线分布稳定性，探索多样性约束（EDC）缓解并行解码头的语义坍缩，AR-ORPO 利用奖励值作为软权重建构偏好列表替代硬排名，比标准 ORPO/DPO 更鲁棒，适合生成式推荐或 Agent 策略优化中的对齐训练。
- 并行解码与高效采样：多头并行生成 + 群组束搜索/启发式混合采样，将序列生成复杂度从 O(M) 降至 O(M/K)，线上 TP99 仅增加 3.2ms，可直接用于低延迟的实时重排或对话式推荐生成。
- 跨请求上下文桥接思路：显式建模当前请求的探索行为对未来点击/浏览的影响，可在精排或重排阶段加入类似“未来请求增益”辅助任务，提升长期用户活跃度。
观察校准自蒸馏：解耦智能体强化重放信号的混杂因子
🧭 Agent 强化学习 · 令牌级信贷分配 ★ 深度解读
Meituan LongCat Interaction · Nanjing University · Peking University · McMaster University · Fudan University
通过对比含/不含未来观察的结构化重放视图消除支架混杂，为GRPO提供校准的令牌级更新信号
📌 工作参考价值（4 点）
- 特权重放信号的混杂控制：在使用未来反馈或后见之明信息进行令牌级监督时，可构造“完整视图”与“消融视图”（如仅屏蔽关键未来信息，保持格式、动作支架一致），取两者分数差作为残差，剔除由重放格式、支架引入的偏好偏移，从而使特权信号更干净地归因于目标信息。
- 选择性校准高不确定步骤：按旧策略的序列平均负对数似然排序，只对每个轨迹中前20%高困惑度步骤施加令牌级精细化信号，既能提供有效指导，又避免对低价值步骤引入噪声，提升训练效率与稳定性（计算开销仅增1.4%）。
- 保向调幅的集成方式：在政策优化时保持原始轨迹级优势的方向不变，仅用校准信号按比例缩放更新强度（如 \(bA_{text{cal}} = bA \cdot (1+\beta \cdot \text{sgn}(bA) \cdot q)\)），易于嵌入现有GRPO/PPO框架，无需额外损失项或辅助目标。
- 适用于多步交互型Agent：该思路可直接迁移至对话推荐、搜索代理等多轮交互场景，利用后续用户反馈或环境状态构建结构化对比视图，实施步骤级信用分配，提升策略学习对关键行动环节的敏感度。
奖励结构塑造强化学习中情节探索与神经记忆的交互
🧭 探索-记忆交互的奖励结构依赖性分析
UC San Diego
揭示探索奖励与记忆架构的互补关系取决于奖励结构而非密度
📌 工作参考价值（3 点）
- 该工作为 RL 基础研究，业务可借鉴点有限，但其关于探索与记忆互补性的结论可启发电商搜索 Agent 中长序列决策：探索奖励应当与记忆容量协同设计，而非简单叠加。
- 奖励信号的结构（监督何种记忆内容）会放大或抹平不同网络架构差异，类似推荐系统中，辅助目标的设计会改变序列模型对用户行为的记忆重点。
- 提出的“结构稀疏”与“潜在稀疏”概念可迁移至长程用户兴趣探索场景：若短期行为奖励无法有效指引长期兴趣发现，需要专门的探索机制来弥补记忆负担。
SFT冲突与RL共存：LLM多任务学习理论实证分析
🧭 多任务RL训练的解耦与并行化 ★ 深度解读
中国科学院自动化研究所 · 中国科学院大学 · 清华大学
多任务SFT导致性能崩溃，RL因梯度近似正交而共存，基于此提出Parallel-RL解耦并行训练
📌 工作参考价值（4 点）
- 多任务RL解耦训练：利用RL更新稀疏且近似正交，可对搜索/推荐的不同目标（如相关性、CTR、多样性）单独训练RL模型，再通过参数求和或平均合并，避免多阶段SFT带来的灾难性遗忘。
- 具体合并方法：先独立用GRPO训练各任务得到ΔW，合并时首选简单求和或平均；若存在干扰，采用TIES方法稀疏化合并，消除参数冲突；最后用少量混合数据（5%）快速适应，可进一步提升整体性能。
- 模块化能力注入：当需要向现有模型添加新能力（如新业务域）时，可对新任务进行RL微调，然后将ΔW合并入主模型，无需重训整个系统，且不影响原有任务表现。
- 训练范式选择指导：SFT更新范数大、任务间重叠高，不适合多阶段或并行训练；推荐系统中若需微调LLM，应优先使用RL，并在多任务设定下避免多阶段SFT，以保持旧任务性能。
迈向技能原生LLM：用技能熵衡量与训练长程跨技能推理
🧭 长程多技能推理评估与强化学习训练
Princeton University · Carnegie Mellon University · University of Toronto · University of Illinois Urbana-Champaign · Stanford University
提出技能熵量化技能切换难度，构建Skill^2-Bench基准并设计Skill-Entropy RL训练框架，显著提升LLM长程跨技能推理性能
📌 工作参考价值（4 点）
- Agent 任务难度评估：在电商 Agent 或对话式推荐系统中，多条技能链（意图识别→商品检索→价格计算→个性化推荐→原因解释）可借助技能熵量化任务复杂度，发现模型在哪类技能切换上频繁失败，定向优化。
- RL 训练技巧迁移：Skill-Entropy RL 框架可直接套用到推荐 Agent 的训练，奖励模型不仅输出正确结果，还要正确选择每步使用的技能类型，以此强化长程规划的技能切换能力，避免步骤遗漏或逻辑跳跃。
- 复用训练信号：论文证明技能熵信号可跨数据集复用（如 OpenR1-Math），电商团队可构建内部多技能长链任务数据，用同样方法对自有模型做 RL 微调，无需改动业务模型架构。
- 基准设计思路：可以参照 Skill^2-Bench 构建技能切换的评测集，将不同推荐环节抽象为独立skill，自动检测模型是否按预期顺序调用技能，用于评价 LLM 驱动的推荐系统中的多步推理鲁棒性。
跨域混合OPD框架：训练通用搜索Agent而不牺牲通用智能
🧭 搜索Agent强化学习与多域蒸馏混合优化 ★ 深度解读
Tencent Yuanbao Team · Shanghai Innovation Institute
结合搜索RL与多领域专家在线策略蒸馏(OPD)，同步优化搜索能力与通用推理，有效缓解对齐税
📌 工作参考价值（4 点）
- 混合训练避免能力退化：在业务中对搜索/推荐Agent做专项RL（如对话式推荐、多步检索）时，可借鉴混合批次设计——在RL损失中混入通用任务，用教师模型的token级KL惩罚保持通用能力，避免模型变成只会搜索的“偏科生”。
- 多域专家蒸馏优于单一教师：电商场景中可训练多个领域教师（如商品知识、促销文案、售后规则），通过在线策略蒸馏将领域知识注入搜索Agent，比单一通用教师更有效，且不会覆盖学到的搜索策略。
- 难度课程学习提升教师质量：为教师模型构造难度分层（基于Pass@k统计），先从中等难度样本学习密集信号，再扩展到全谱困难样本，能显著提升教师对困难问题的教学能力，这一策略可直接用于业务中领域专家模型的训练。
- 工具交互协议与奖励设计：采用XML格式工具调用协议和统一的验证器（规则、RM、代码执行），可迁移到需要调用商品搜索、优惠查询等API的电商Agent中，并利用GRPO优化工具使用策略。
决策感知的用户模拟器DASH：融合思维链与跨域历史的广告行为仿真
🧭 决策感知的用户模拟器 ★ 深度解读
Tencent Inc. · National University of Singapore
提出DASH，通过异构上下文折叠和思维轨迹联合建模，提升广告用户仿真的动作准确性及诊断价值
📌 工作参考价值（4 点）
- 异构行为压缩：针对不同动作类型（跳过/点击/转化/负反馈）采用差异化压缩策略，保留全量高信息交互字段，低信息交互仅留类目元数据。电商/广告场景可通过类似分层压缩处理超长用户历史，在有限context下保留关键信号。
- 思维链生成与评估：让模拟器输出“Focus-Draft-Verify-Finalize”结构化思考链，带来可诊断性。可将此范式用于Agent策略验证或推荐解释，通过rubric奖励模型对思考质量的三个维度（形式/内容/逻辑）进行细粒度打分，替代稀疏的动作奖励。
- SFT-RL训练框架：利用强模型蒸馏思维轨迹做SFT，再用分组优势策略优化（GRPO）结合混合奖励（动作正确+思考质量）微调小模型。这种teacher-student方案可在保证仿真精度的同时满足在线低延迟要求，适合业务部署。
- 提示闭环优化：通过模拟器错误案例自动分析并迭代优化prompt，使模型输出的动作分布更接近真实分布。该思路可直接用于Agent交互式任务的提示工程，减少人工调试成本。
面向搜索Agent的图结构化行动空间与信用分配框架
🧭 结构化搜索Agent · 行动空间重塑 ★ 深度解读
National University of Defense Technology
用有限动作菜单替代自由形式查询，消除检索等价崩溃，并在同一状态下进行结构化信用分配，训练更稳定的RL搜索Agent
📌 工作参考价值（4 点）
- 将自由文本检索转换为离散菜单选择（如词条、属性、类目），可避免策略优化中的检索等价崩溃，适用于电商搜索推荐中的多步推理agent。
- 利用图形结构（实体-句子图）提供可预览的动作替代方案，实现局部对比信用（frontier-relative advantage），无需额外采样就能获得同状态下动作相对价值，可用于推荐系统的多步决策。
- 启用信用传播通过依赖图回溯，将下游收益分配给早前的桥接动作，能有效处理多跳推荐/对话中的延迟奖励问题，且计算开销低（仅增加9~11%），适合工业部署。
- 整体框架（菜单+SNC）与RL算法无关，可灵活集成到现有PPO/GRPO训练流程中，且图构建完全程序化（零LLM成本），为工业级搜索/推荐agent优化提供了高效方案。
GPT-Red：基于自博弈的大规模自动化红队代理
🧭 安全红队 · 自博弈对抗训练
OpenAI
训练自博弈红队代理自动发现提示注入攻击，对抗训练出最强鲁棒模型GPT-5.6
📌 工作参考价值（4 点）
- 对抗训练思想可迁移至推荐模型鲁棒性增强：对召回/排序模型注入对抗样本（如恶意特征序列）训练，提升生产系统抗干扰能力。
- 自博弈架构可借鉴于生成多样化攻击样本：类似用生成式对抗网络思路，在审核/风控模型中持续进化攻击模式，扩大覆盖。
- 红队代理作为自动评估工具：可构建面向推荐系统的“黑盒攻击代理”，在离线评估中压测模型边界，提前暴露盲区。
- 工程上，将红队发现的高危模式加入训练集形成闭环，可系统化提升模型版本迭代的安全性。
通过多智体协议蒸馏弥合闭源与开源Agent搜索的分布鸿沟
🧭 多智体协议蒸馏 · Agent搜索 ★ 深度解读
University of Chinese Academy of Sciences · Tsinghua University · Peking University · Beijing Institute of Technology
提出结构化JSON协议作为中间表示，将闭源多智体的推理策略蒸馏到开源学生模型，显著缓解风格漂移和幻觉。
📌 工作参考价值（4 点）
- 用结构化协议替代原始文本进行蒸馏：在Agent搜索场景中，直接模仿闭源模型的自然语言轨迹会导致灾难性的风格漂移和幻觉，业务上若想用GPT/Claude蒸馏小模型，务必把推理过程抽象为JSON、流程图等结构化中间表示，剥离语言风格。
- 离线多智体合成高质量训练信号：用多智体系统（编排者+搜索者+修复者+协议者）提前生成高质量推理协议，训练时只复用协议，不增加在线推理开销。这种模式可迁移到电商导购Agent的多轮决策合成：用强模型离线生成“商品推荐-推理-校验”协议，蒸馏到线上轻量模型。
- 在线自蒸馏与RL的联合训练配方：将结构化协议作为特权信息（privileged information）输入教师分支，与学生分支做token级KL对齐，同时叠加GRPO稀疏奖励，λ=0.05附近是甜区。业务中复现类似流水线时，可直接参考该联合损失权重调优经验。
- 跨教师模型的可迁移性：结构化协议对不同闭源教师（Claude/GPT/Gemini）都有效，方差极小，意味着后续替换底层LLM API时无需重新调参，可大幅降低迭代成本。
AREX：递归自改进的深度研究智能体
🧭 Agent 递归自改进 · 长视野研究 ★ 深度解读
Beijing Academy of Artificial Intelligence (BAAI)
利用发现-验证不对称性，将部分验证的解递归地转化为更聚焦的研究问题，实现长视野深度研究。
📌 工作参考价值（4 点）
- 多约束查询分解与验证：电商搜索中用户需求常隐含多个约束（价格、品牌、特殊属性），可借鉴 AREX 将问题分解为约束束，通过递归验证式搜索逐条核验，避免一次性返回不满足所有条件的商品。
- 自主上下文更新工具：长对话推荐或 Agent 任务中，上下文膨胀会干扰决策。可训练模型自主调用“上下文更新”工具，将已验证的产品属性、未解决的约束及被排除的候选项压缩为紧凑状态，以替代全量历史，降低 token 成本并提升后续推理准确度。
- 关键步聚焦训练：强化学习优化推荐策略时，可标注“关键决策步”（如首次命中正确类目、修复错误搜索方向并转向），对它们施加额外的奖励塑形或集中训练，避免奖励信号被大量常规步庸稀释，显著提升长路径任务成功率。
- 双层循环架构：对于需要持续改进的生成式推荐（如营销文案生成、动态选品策略），可引入内循环产出草稿，外循环按置信度审核并针对性优化未满足的约束，实现可控的、以验证驱动的自我改进，而非无序重试。
超越欧几里得裁剪：用黎曼等距策略优化克服 LLM RL 探索崩塌
🧭 RL 训练方法 · 几何优化 ★ 深度解读
Tsinghua University (AIR) · ByteDance Seed
发现 PPO-Clip 的欧氏度量与策略黎曼流形不匹配是探索崩塌的根本原因，提出 RIPO 实现等距更新以平衡探索与利用，大幅提升推理 RL 性能
📌 工作参考价值（4 点）
- 在推荐/搜索的 policy gradient 训练（如 PPO 排序策略、对话策略）中，直接用 epsilon = sqrt(delta / pi_old) 动态裁剪重要性比，让低概率动作（冷门 item / 新动作）获得更大更新空间，避免过早收敛到高频动作，保持策略多样性。
- 工程实现时，将信任域半径 δ 设为 0.02~0.05 即可稳定工作，无需复杂调参；可对用户行为序列中不同位置的 token 或动作单独计算裁剪边界，兼容现有 GRPO/PPO 框架。
- 对于多臂赌博机 / 上下文 bandit 在线学习，几何等距裁剪能缓解热门臂的过度利用问题，思路可迁移至 EE 场景的策略更新规则。
- 在 LLM Agent 的 RL 训练中（工具调用、查询改写），RIPO 可防止 Agent 重复使用少数高频工具而忽略潜在有效的探索路径，提升长程任务成功率。
GRASP：面向 Agentic RAG 的粒度感知搜索策略
🧭 Agent 搜索策略与工具协调优化
University of Massachusetts Amherst · Adobe Research
用强化学习训练 Agent 自适应选择语义搜索、关键词搜索与段落阅读，提升多跳推理的检索与问答性能
📌 工作参考价值（4 点）
- 电商搜索的多跳推理（如“适合油皮的平价防晒霜”）可借鉴 GRASP 的动作空间设计：语义搜索用于初步召回，关键词搜索锁定特定属性，段落阅读验证细节，避免一次性返回大量无关商品描述。
- 奖励函数联合考虑答案正确性、引用依据、工具互补性和步数效率，可直接迁移到 Agent 型产品搜索的在线 RL 训练，缓解探索-利用困境。
- 检索粒度控制在 RAG 场景下对延迟和成本敏感的业务（如实时客服）极有价值：学习何时取整段、何时仅取关键句，可大幅缩减输入 token，加速推理。
- 训练的 Agent 表现出可解释的“略读与精读”模式，可辅助构建可审计的推荐理由生成，增强用户信任。
UP：无界正优势非对称优化破解LLM强化学习的探索—稳定性困境
🧭 强化学习训练优化·无界探索 ★ 深度解读
ByteDance Seed · Michigan State University
通过stop-gradient自锚定比率取代重要性采样，对正向优势释放无界梯度以最大化探索，同时保留负向裁剪加固训练稳定性
📌 工作参考价值（4 点）
- 非对称正负处理：在业务RL训练（如对话策略、推荐排序）中，可对正确/正向动作去除裁剪，使用自锚定梯度释放探索；对错误动作保留裁剪约束，防止模型退化。
- stop-gradient 即插即用：将 π_θ / sg(π_θ) 作为无界更新核心，实现简单，可直接嵌入现有 PPO/GRPO 代码，无需改动 critic 或奖励函数。
- 探索容量监控：通过追踪策略熵和 KL 散度，诊断是否出现探索崩塌，借鉴 UP 的熵上升趋势判断训练是否健康。
- 通用性证明：该方法已验证对 Dense/MoE/多模态模型均有效，推荐系统或 Agent 中更换 backbone 时可放心复用，无需重新设计。
数学推理中思维链的SHAPE分析框架
🧭 数学推理CoT分析与后训练
Graduate School of Data Science, Seoul National University · Department of Mathematics Education, Seoul National University
用语义空间与启发式分析数学CoT，发现启发式更能解释正确性且可通过多样化后训练提升推理
📌 工作参考价值（3 点）
- 将Agent推理诊断从表面特征转向结构化技能分析：可借鉴SHAPE的二维编码（语义空间+启发式），对搜索推荐Agent（如意图理解、召回策略选择、排序解释）的推理轨迹打标，定位模型在哪些解释框架或动作上出错，而不是只看最终效果。
- 警惕RL微调中的模式坍缩：该研究发现RL使启发式使用趋于mode-seeking。在训练对话式推荐或query改写Agent时，若仅使用结果奖励，模型可能只学会一种固定策略，建议加入策略多样性正则或覆盖多个启发式的过程奖励。
- 通过构造多样化策略数据提升模型泛化：后训练时显式促进启发式多样性可提升数学推理准确率，迁移到业务可构造包含不同改写策略（如扩写、纠错、意图切换）的query推荐数据，让模型学习多种解法而非单一模板。
终端智能体简单训练配方 Tmax
🧭 终端 Agent 强化学习训练配方
Allen Institute for AI · University of Washington
用分类法生成数据 + 仅结果奖励 RL，9B 模型在 Terminal-Bench 2.0 上达 27%，超越更大模型
📌 工作参考价值（4 点）
- 数据生成策略可复用：通过难度控制、角色多样化和验证器多样化生成大规模合成训练环境，这套方法可直接用于生成推荐系统智能体的指令或交互数据，尤其适合构建面向开发者的推荐工具 Agent。
- 仅结果奖励的 RL 简单有效：在推荐 Agent 的在线学习场景中，无需设计复杂中间奖励，直接使用最终任务成功与否作为信号，降低工程开销，且对超参不敏感。
- 开源基线可直接加速实验：Tmax 的数据集（2.5 倍于先前最大公开集）和模型可作为起始点，快速验证终端交互类 Agent 在推荐基础设施运维或自动化部署中的应用。
- 小模型通过 RL 可超越大模型：9B 参数模型经过 RL 训练后性能超过 32B 模型，对资源受限的推荐团队有强提示：精调小模型 + 针对性的 RL 数据可能比盲目上大模型更划算。
从推理轨迹到可复用模块：理解语言模型推理中的组合泛化
🧭 训练与推理中的模块化组合泛化
Carnegie Mellon University · Mohamed bin Zayed University of Artificial Intelligence · Institute of Foundation Models · University of Michigan
揭示SFT与RL在LLM推理中非对称互补：SFT提供模块原料，RL分解轨迹提取原子模块实现组合泛化
📌 工作参考价值（4 点）
- 训练范式迁移：在构建推荐/搜索Agent时，可先通过SFT用组合轨迹（如查询改写→检索→排序的完整链）覆盖所有原子技能，保证基础能力；再用RL重点训练SFT未见过的技能组合，提升泛化性。
- 数据构建策略：训练数据应避免只给孤立原子操作（如单独改写或单独排序），而应提供复合任务示例，实验证明复合训练比分离训练带来更强的组合泛化。
- RL Fine-tuning 设计：RL阶段将奖励信号聚焦于新颖组合，鼓励模型探索原子模块的不同路由方式，可有效提升在未见过的搜索场景或用户意图下的表现。
- 模块化推理架构：在Agent工作流中可显式抽象出“技能（局部操作）”和“路由（信息选择与组合）”两级原子模块，便于模型复用和重组，降低新任务开发成本。
后训练如何塑造生物推理模型
🧭 多阶段后训练与泛化权衡分析
Harvard University · Google DeepMind · Google Research
系统分析CPT、SFT、RL对生物推理模型泛化的不同影响，表明ID/OOD权衡取决于阶段组合而非单调提升
📌 工作参考价值（4 点）
- SFT 过拟合警告：SFT 持续提升分布内 (ID) 效果，但分布外 (OOD) 性能会在早期达到峰值后下降。推荐系统微调时需监控 OOD 指标，避免过度适配训练用户/物品分布。
- RL 恢复泛化：在强 SFT 检查点上加 RL（奖励信号与任务对齐）可提升 OOD 并部分恢复泛化。对电商搜索/推荐中的个性化与冷启矛盾，可设计 RL 阶段来对冲过拟合。
- 训练预算分配：固定总训练成本下，短 SFT + 大 RL 预算的 ID-OOD 权衡最佳。实际落地时，可优先保证 SFT 收敛早期即切换 RL，而非一味延长 SFT。
- 阶段非对称适配：不同阶段对模型容量要求不同，CPT 受益于大模型，而 SFT/RL 增益更依赖质量。在大模型推荐系统中，可先 CPT 对齐领域语言，然后用少量高质量 SFT 和充足 RL 调优。
Ling 和 Ring 2.6：万亿参数级高效即时代理智能
🧭 Agent 高效训练与推理优化
Inclusion AI
通过架构升级、混合线性注意力及强化学习框架实现高效推理与代理能力的万亿参数模型家族
📌 工作参考价值（4 点）
- 长上下文推理效率：混合线性注意力（Lightning Attention + MLA）可大幅降低长序列（如用户行为序列、多轮对话）的预填充和解码延迟，直接适用于电商搜索/推荐系统的实时重排序或解释生成场景。
- Token 效率优化：最短正确响应蒸馏和双向偏好对齐能训练模型用更少 token 提供精准推荐理由或答案，降低服务成本，尤其适合用户触达、消息推送等延迟敏感的业务。
- Agent 训练稳定性：KPop 异步 RL 调度框架可借鉴到多步搜索 Agent 的训练中，通过异步采集搜索、工具调用、工作流执行等环境交互数据，提升样本利用率和训练吞吐，适合构建能自主调用商品检索、价格对比等工具的购物助手。
- 业务模型迁移升级：论文从已有模型（Ling-2.0）通过架构迁移和继续训练而非从头预训练的方法，对于已有推荐/对话模型向 Agent 方向升级提供了一个低成本路径，避免全量重训。
HarnessX：可组合、自适应、可进化的 Agent 运行时脚手架工厂
🧭 Agent 多智体协作优化 ★ 深度解读
Darwin Agent Team
将 Agent 运行时脚手架抽象为一等公民，通过模块化处理器、进化引擎与协同训练实现自动优化，在多基准上平均提升 14.5%
📌 工作参考价值（4 点）
- 模块化处理器架构：将 Agent 行为拆解为上下文组装、工具生态、内存策略、控制流等九维处理器，通过 hook 和替换代数实现可组合、可替换的运行时。电商推荐、对话 Agent 可根据场景（搜索、推荐、售后）快速组装不同的 prompt/工具组合，无需重复开发。
- Trace 驱动的自适应优化：AEGIS 引擎将执行轨迹、验证分数转化为进化信号，自动调整 Agent 的 prompt、工具选择与交互流程。在电商场景中，可将用户反馈（点击、转化）作为 reward，让 Agent 在线自动优化推荐话术、多步检索策略，且通过变体隔离避免多任务间相互干扰。
- 跨策略版本协同训练：利用不同脚手架版本产生的轨迹进行 GRPO 训练，任务级分组计算 group-relative advantage，让模型内化多种策略的优点。可用于训练电商 Agent 从混合策略数据（如不同召回/排序规则）中学习最优决策，突破固定策略的限制。
- 共享回放缓冲区的经济性：Harness 进化与模型训练复用同一批 rollout 轨迹，仅增加一次前向缓存和梯度计算，无额外环境交互成本。对于需要频繁迭代的线上 Agent 系统，该方法以较低算力开销实现智能化升级。
MaxProof：基于生成式验证器RL和群体级测试时扩展的数学证明规模化
🧭 数学证明 · 生成式验证器 · 测试时扩展
MiniMax · The Chinese University of Hong Kong · Fudan University · Peking University · Tsinghua University
通过生成-验证-修复一体化训练与锦标赛搜索，在IMO 2025和USAMO 2026上超越人类金牌线
📌 工作参考价值（4 点）
- 防御式多层验证器（defense-in-depth verifier）降低误判的思路可迁移至电商推荐中的内容审核、虚假评论检测等高风险场景，通过生成式模型直接判断并给出理由提升解释性。
- 群体级测试时扩展（population-level test-time scaling）的锦标赛搜索框架可启发多智能体推荐系统，将生成、验证、排序等角色分配给同一模型的不同调用，在推理阶段提升最终推荐质量。
- 将验证器训练与生成器对齐，通过“错误发现”任务强化模型对瑕疵的感知，这一范式可用于商品描述生成或广告文案的自我修正，减少人工审核成本。
- RF过程中的数据领域和技巧平衡策略（domain and trick balance）对电商冷启动或长尾商品建模有借鉴意义，通过构造均衡训练集避免模型偏向高频模式。
信息流推理：用注意力图追溯回答导向的推理骨干，实现精准token级信用分配
🧭 推理信息流引导的token级RL信用分配 ★ 深度解读
Shanghai Jiao Tong University · Alibaba Group · Shanghai Artificial Intelligence Laboratory
将LLM推理过程建模为注意力引导的有向无环图，通过回答条件化的流守恒变换识别关键推理骨干token，用于强化学习的细粒度信用分配
📌 工作参考价值（4 点）
- 利用内部注意力图构建回答导向的信息流骨干，对token进行重要度排序，可借鉴到对话生成、Agent轨迹的细粒度信用分配，强化关键决策步骤而抑制无关填充。
- Doob‑h变换实现流守恒，保证中间节点不因路径长度而稀释或膨胀影响力，该归一化思想可直接移植到其他基于图的影响力传播任务（如推荐中的用户行为传导、物品关联）。
- 固定top‑40%高流量token进行GRPO loss重加权，超参简单且表现稳定，工程上仅需一次额外前向传播（2‑4%时间开销），适合在线RL训练环境。
- 中间层注意力包含最丰富的推理结构，避免使用全部层导致信号稀释，这对注意力分析的应用（如可解释性、模型诊断）提供了实用的层选择经验。
OneReason：面向生成式推荐的感知-认知推理模型
🧭 生成式推荐 · Semantic ID · 推理增强 ★ 深度解读
Kuaishou
通过多粒度预训练、层次化 CoT SFT 和“先专后统”RL，首次在生成式推荐中让思考模式稳定超越非思考模式
📌 工作参考价值（4 点）
- 多粒度预训练数据设计：将推荐语料构建成 token→item→relational→user 四个层次，其中 token 级构造组合语义预测、item 级做容量感知的caption粗粒化、relational 级生成兴趣流转解释、user 级混入跨域时间线与text替换。电商/短视频场景可直接复用这种分层来强化物品语义表示和用户理解。
- 推荐 CoT 模板与监督：定义 R0（感知）→R1（推导）→R2（演化）→R3（推荐）的层次化 SFT，每条 CoT 先压缩用户历史为兴趣状态，再基于状态推理下一交互。实际业务中，可以参照该模板用 LLM 为历史序列打标兴趣点，构建带推理痕迹的训练数据，提升模型的解释性与准确率。
- “先专后统”RL 策略：在多模块推荐场景中，先在每个单域做 RL 解锁思考模式增益，再通过拒绝采样微调或多教师蒸馏跨域平衡。对于电商/广告/直播等多业务线融合训练，可避免域间干扰，稳定提升整体收益。
- CoT 监督向非思考模式的迁移：论文发现将 CoT 推荐数据混入训练，可以提升非思考直接生成的性能。对于线上延迟敏感、无法实时推理的场景，可在训练阶段使用 CoT 数据，推理时丢弃思考过程，既保持低延迟又获得效果提升。
Harness-1：通过状态外化 harness 对搜索智能体进行强化学习
🧭 搜索智能体 · 状态外化 harness ★ 深度解读
University of Illinois at Urbana-Champaign · UC Berkeley · Chroma
将搜索中的机械簿记卸载到环境端状态，使 20B 策略 RL 后平均召回达 0.730，比最佳开源 subagent 高 +11.4 点
📌 工作参考价值（4 点）
- 电商搜索/推荐的多步检索中，可设计类似的工作记忆状态机（候选池、重要性标记、证据图、验证记录），将“记住已看文档、过滤重复、跟踪约束”等记账任务由环境维护，让策略模型聚焦语义决策，降低小模型 RL 的优化难度。
- Warm-start curation（自动从第一次成功搜索结果中 seed top-8 为 fair 重要性）解决了空 curated set 带来的早期奖励无区分度问题，可迁移到对话式的商品搜索、主动推荐场景，避免 RL 探索时的全零 reward。
- 多样性奖励（tool diversity bonus）防止策略坍缩到反复搜索的捷径，强制 agent 使用验证、阅读、curate 等多种行动，提升最终精排质量。这在电商 Agent 做多轮“搜索-浏览-比较-加购”决策时特别有用。
- 紧凑的派生状态渲染（BM25 句子压缩、证据图、重要性分级）和两级去重（chunk-ID + MinHash 指纹）有效控制上下文预算，让策略在长序列多轮交互中保持对关键证据的可见性，适合需要融合多篇商品评论、比价等长上下文场景。
PEFT 的三轴缩放：万亿参数基础模型支撑百万持久个性化模型
🧭 PEFT 缩放 · 个性化模型 · LoRA RL ★ 深度解读
Mind Lab
通过 Scale Up（强先验）、Scale Down（小型稳定适配器）与 Scale Out（适配器种群）三轴协同，让 LoRA 在万亿 MoE 上实现低成本、可持续的个性化 RL 更新与集体智能。
📌 工作参考价值（4 点）
- 用户级 LoRA 适配器：电商推荐或 Agent 系统可对每个用户或 Agent 实例维护一个 LoRA adapter，仅更新 <1% 参数即可捕获长期偏好、技能或工具使用习惯，成本远低于完整模型微调。
- RL 训练的稳定初始化：在 RLHF 或 RLVR 场景中，极低秩 adapter (rank=1) 的初始化不能简单复用 SFT 下的 SVD 初始化，应使用控制初始更新幅度的 RL-native 方法（如 OLoRA-tail），避免策略漂移导致 KL 崩溃。
- 多 Adapter 投票提升决策质量：当存在多个来自不同用户或 Agent 的 adapter 时，可借鉴论文中基于多样性的大数投票机制，聚合多个适配策略输出，在推理阶段获得集体智能收益（AIME24 准确率从单模型 36.4% 提升到 198 模型的 48.7%）。
- 训练–推理一致性：大规模 MoE 部署个性化模型时，路由差异会导致训练策略与线上策略不一致，采用 Router Replay R3 等技术记录并回放路由决策，可保证 RL 更新的有效性。
模型何时该改变主意？大语言模型的情景信念管理
🧭 Agent 多轮交互中的信念状态管理 ★ 深度解读
Zhejiang University · HomologyAI
提出情景信念管理（CBM）与BeliefTrack基准，诊断并改善LLM在多轮交互中维持证据对齐信念的能力
📌 工作参考价值（4 点）
- 在多轮对话推荐或交互Agent中，可引入信念状态追踪机制，明确区分有效证据与无关噪声，避免模型因用户闲聊或情绪化内容而改变购物意图或推荐结果。
- 使用基于Jaccard相似度的密集奖励替代稀疏匹配，能提供更平滑的优化信号，适用于微调需要维持动态用户偏好集的推荐对话策略。
- 借鉴BeliefTrack的封闭世界–符号验证设计，构建推荐场景的离线诊断集：定义有限商品池作为信念空间，设计多轮对话模板精确测试模型是否因干扰信息产生非预期推荐变化。
- 表征操控方法表明，从RL训练中提取的隐藏层方向可以无参数地提升基础模型的多轮一致性，为在资源受限时快速改善现有多轮Agent提供了轻量方案。
SIA：通过支架与权重联合更新的自改进AI
🧭 Agent 自改进与测试时训练 ★ 深度解读
Hexo Labs · University of Oxford
提出反馈智能体同时更新任务智能体的支架（提示、工具）和模型权重（LoRA）的联合自改进循环，在三个领域全面超越纯支架迭代
📌 工作参考价值（4 点）
- 1. 在Agent开发中可引入「反馈智能体」动态选择改进动作：当纯提示/工具优化（支架更新）收益停滞时，自动触发模型权重微调（RL训练），实现支架与模型权重的协同进化。
- 2. 对商品分类、法律条款匹配等细粒度分类场景，可直接套用「支架迭代到权重更新」的模式：先用支架优化解析、重排逻辑，再用GRPO按组优势进行LoRA微调，可显著提升准确率（如从50%到70%）。
- 3. 针对GPU算子优化、超参调优等探索性任务，可借鉴「支架探索+权重内化」思路：支架负责搜索空间构建和编译/运行反馈解析，权重通过强化学习内化领域设计模式，获得超越人工调参的性能。
- 4. 工程上，反馈智能体根据奖励密度自动选择训练算法（PPO/GRPO/entropic weighting/DPO等）的设计，可直接复用为动态训练策略选择器，降低RL训练调参成本。
后训练关键在状态分布而非Token：SFT、RL与在线蒸馏的状态视角
🧭 LLM后训练状态分布视角 ★ 深度解读
提出状态分布视角统一SFT、RL和在线蒸馏，实验显示学生可超越退化教师且on-policy方法更稳定
📌 工作参考价值（4 点）
- 用状态源/信号源拆解训练策略：将推荐Agent的训练明确分为“状态采自哪里”和“监督信号从哪里来”。离线数据（如用户历史日志）提供固定状态，但Agent部署后可能遇到未覆盖的状态分布，借鉴on-policy采样（RL或在线蒸馏）能减轻分布不匹配造成的性能退化。
- 在线蒸馏时让学生控制状态分布：在电商场景中，Teacher模型可能在某些上下文（如长对话或冷门商品）表现差，但局部Token预测仍可用。让学生Agent在自身状态上请求教师指导（如生成短续写），类似DAgger，可以保留教师局部能力的同时避免复制教师的全局错误轨迹，实现学生超越教师。
- 避免单纯用标量漂移判断遗忘：业务监控时，不要仅靠rollout状态的MMD等单一距离指标下结论。论文显示，两个模型可能有相近的全局状态漂移但遗忘程度迥异。应结合状态来源分析——是在模型自身可达状态上做更新（如RL/OPD），还是在与模型当前策略偏离的固定状态上做密集离线更新（如stress SFT）。
- 轻量在线RL可作为能力保留手段：在追求目标指标提升时，可以先跑一轮温和SFT注入基础能力，再用在线RL（如带分组相对奖励的GRPO）在模型自身轨迹上小步优化，既能提升主任务，又可抑制遗忘。对电商搜索排序或对话Agent，可设定简单的验证性奖励（如用户点击、转化），用on-policy采样来微调，保持通用知识不退化。
概率式分块掩码：让 VLA 强化学习在轨迹发散处高效更新
🧭 高效强化学习训练优化
Indian Institute of Technology Madras
用成功-失败动作方差定位学习信号，概率掩码轨迹块，实现 GRPO 梯度计算 4.8 倍加速且成功率无损
📌 工作参考价值（4 点）
- 在序列决策模型（如对话 Agent、推荐序列）的 RL 训练中，可借鉴 PCM 的思路：仅对成功与失败轨迹出现行为分歧的时间步计算梯度，避免在已经学好的区域浪费算力。
- 利用分组 rollouts（如 GRPO 的对比样本组）的“成功-失败动作方差”作为信息量指标，无需额外价值网络，可低成本筛选出关键决策片段，适合 critic-free 的 LLM 微调场景。
- 在线更新阶段级保留概率的机制，可动态适应策略变化，在推荐模型持续训练或在线学习时有借鉴意义，能更高效地利用回放数据。
- 工程实现上轻量（drop-in 替换 GRPO），无需奖励模型，能同时大幅降低显存（60% 峰值激活）和训练时间，适合资源受限的 VLA 策略或大模型 RL 微调。
基于案例的自适应推理与执行校准用于LLM工具调用
🧭 LLM ★ 深度解读
University of Electronic Science and Technology of China
利用历史执行轨迹构建案例，提取复杂度与失败轮廓，联合校准推理预算与工具执行结构
基于语义聚类ID与专家引导RL的高效电商搜索生成式检索
🧭 RecSys ★ 深度解读
Taobao & Tmall Group of Alibaba
提出语义聚类ID（CQ-SID）和专家引导GRPO，在电商搜索召回中大幅提升命中率并降低推理成本，在线GMV提升1.15%
Orchard：开源可扩展代理建模框架
🧭 Agent ★ 深度解读
Microsoft Research · Columbia University · UIUC
提出轻量级环境层 Orchard Env 实现跨领域、跨训练阶段的 SFT+RL 代理训练，在 SWE-bench 和 GUI 基准上达到开源最优
自蒸馏智能体强化学习：门控辅助蒸馏稳定多轮训练
🧭 Agent ★ 深度解读
Zhejiang University · Meituan · Tsinghua University
SDAR 用 token 级 sigmoid 门控自适应调节 OPSD 信号，保持 RL 主导并稳定提升多轮智能体性能