Axion 1.0：简化的开放智能体基础模型
🧭 Agent 基础模型 · 三阶段极简训练 ★ 深度解读
Duke University · ByteDance · University of Maryland, College Park · University at Buffalo
用两阶段 SFT 加 RL 的极简 recipe，构建可复现的开放 Agent 基础模型，在多项 agentic 基准上达到前沿水平
📌 工作参考价值（4 点）
- 模型感知的数据增强：Stage I 用基座模型能否解出作为难度筛选器，只对能解出的题目做组合、参数化、范围移位、分情况讨论等对抗式改写，让数据难度贴合模型能力边界。电商场景中构造训练数据时，可以先用线上模型筛选出“太简单”的样本，再做变体改写，从而提升训练集的信息密度。
- 可验证工具任务生成：Stage II 的 filter-select-compute-verbalize 流水线把结构化商品/内容库转化为需要检索+计算的问答，答案由确定性程序预计算，支持自动验证。对于电商搜索、比价、选品等 agent 任务，可以类似地从商品数据库抽取属性，设计需要多步工具调用和计算的题，自动获得带 ground-truth 的服务数据。
- RL 奖励设计：对未解出的轨迹给部分信用，公式 max(0, 0.3P - 0.1(1-A)) 鼓励中间步骤正确但最终未提交的探索，同时惩罚无终态的输出。在业务 RL 中，长链路 agent 任务（如导购对话）往往最终转化稀疏，引入可验证中间目标（如识别的实体、检索到的属性）能有效缓解奖励稀疏。
- 训练-推理一致性工程：TITO 直接传递 token ID 避免 message re-tokenize 导致的数据漂移；R3 重放 MoE expert routing 降低 rollout 与训练 logprob 偏差。电商推荐系统若使用 MoE 大模型做 agent 微调，可参考这两项工程实践，减少离线-在线性能 gap。
逐步查询：无教师思维链访问下的推理蒸馏
🧭 LLM 推理蒸馏 · 黑盒 query 细化
Institute of AI and Future Network, Beijing Normal University
黑盒教师下用逐步独立查询蒸馏推理，无需 CoT，14/16 对比最优
📌 工作参考价值（4 点）
- 黑盒大模型 API 做推理蒸馏：不要只拿 final answer/brief solution，把任务拆成单步 derivation、validity check、correction 多轮 query，再拼装 SFT；业务侧拿不到 teacher CoT 权限也能做小模型推理增强。
- 数据过滤别只按 final answer：答案错误但中间推理有效的轨迹可保留，尤其适合商品属性抽取、query 改写逻辑、广告文案生成等任务；可用 frozen student 对正确中间步骤的 log-ratio（类似 SEIG）评估哪些 step 仍有信息增益。
- 拆解粒度要控成本：逐步 query 有收益但过度分解收益有限，工程上优先拆到关键推导与校验，避免过多 query 调用和延迟。
- 对 Agent 规划训练可复用：若用大模型生成多步决策轨迹，可把每步 decision/check/修正作为独立 query 组装成微调数据，提升小模型规划稳定性。
WorkFactory：将职业意图转化为可执行工作以规模化训练智能体
🧭 Agent 职业任务构建与 SFT 训练
IQuest Research · Zhejiang University · Renmin University of China · Shenzhen Institutes of Advanced Technology · Shanghai Jiao Tong University
提出 WorkFactory 框架，通过信息级规划与探针执行修复构建可执行职业任务，训练 WorkPilot 系列显著提升专业工作基准
📌 工作参考价值（4 点）
- 构建电商/广告 Agent 微调数据时，用「业务意图 → 信息支持图」方式定义任务依赖（如商品信息、用户画像、预算约束），自动实例化并校验信息完备性，减少专家演示失败。
- 在数据管线中引入「探针执行 + 修复」闭环：先让弱模型/环境跑任务，诊断缺失或不一致信息，再修复任务定义但保持原意图，可显著提升 SFT 数据质量与下游收益，尤其适合多步营销 Agent。
- 多尺寸训练结论：不要盲目扩展数据/模型，监控执行轨迹长度等行为指标；其先增后降与收益递减提示 agent 训练存在效率拐点，可帮助企业选择合适规模。
- 环境缺陷修复可迁移到电商 Agent 平台：给任务模板维护信息依赖清单，执行前校验工具/上下文完备性，减少无效动作与专家演示噪声。
Accordion：通过固定前缀层循环实现弹性深度推理
🧭 LLM 弹性深度推理 · 固定前缀层循环 ★ 深度解读
Tsinghua University · Baidu Inc.
一个 MoE 模型通过固定前缀层循环支持五个推理预算，中间预算以约 21-24% 额外时间捕获 89% 深度增益
📌 工作参考价值（4 点）
- 需要线上不同 latency/cost 档位时，可训练一个模型支持多个推理预算，通过固定前缀层循环共享权重，避免维护多个模型；推理时按请求选择预算，FLOPs 和 KV cache 线性扩展。
- 训练时每个 micro-batch 均匀采样一个预算路径，只优化该路径 NTP，无需跨预算一致性损失；第二遍用 zero-initialized tanh gates，初始为恒等映射，训练稳定。预算无关参数优于 budget-conditioned 参数。
- 多领域能力整合可采用参数组加权合并专家，再做 budget-matched 多教师在线蒸馏（MOPD），能保留各预算增益并提升整体指令遵循，适合搜索推荐中的 Agent 多任务模型合并。
- 资源敏感场景优先选中间预算（如 k=6）：以约 21-24% 额外 TPOT 捕获约 89% 深度增益，推荐系统在线服务可按此设计弹性档位。
PatEx-Gym：面向专利审查新颖性评估的智能体现有技术搜索框架
🧭 Agentic 搜索与轨迹合成
中国科学院深圳先进技术研究院 · 中国科学院大学 · 大连理工大学 · 深圳理工大学
构建专利审查 agent 基准与轨迹合成方法，训练 4B 模型在现有技术搜索上接近大模型效果
📌 工作参考价值（4 点）
- PASS 以文档访问作为隐式相关性信号来自动合成搜索轨迹，无需人工标注；可借鉴到电商搜索中，用用户点击、停留、加购等行为日志构造 agent 训练数据，省去昂贵标注
- 将搜索过程分解为 query 内部行为、query 间进展、轨迹级证据质量三个层次，可迁移到商品对比、选品 Agent 的 reward 设计或数据筛选，提升搜索策略学习效率
- 4B 小模型仅靠 SFT 合成轨迹即可达到大模型 agent 的竞争性能，适合业务中低延迟、低成本的部署约束，可先训一个轻量 agent 再逐步扩展
- 其 harness runtime 支持迭代搜索、文档访问、OA 生成的完整闭环，对搭建自营 agent 评测环境有参考意义，尤其适合需要复杂检索和推理链路的场景
Trajectory2Gym：面向工具使用智能体的决策锚定组合交互合成
🧭 工具使用 Agent 轨迹合成与 SFT ★ 深度解读
Westlake University · Ant International
通过构造组合交互并仅监督有可见历史依据的决策，大幅提升多轮工具使用智能体的 SFT 效果
📌 工作参考价值（4 点）
- 决策级监督掩码：训练工具使用智能体时，不要只按最终成功或 API 执行成功过滤轨迹。对每个 assistant 动作检查：参数是否来自决策时可见的上下文（如工具返回结果、用户确认），工具是否可见，以及是否满足工作流顺序。失败的调用保留为上下文但不参与模仿损失，避免模型学会利用 collector 私有信息或错误捷径。
- 定向合成欠支持依赖路径：先统计现有轨迹池中组合结构的支持度（如“查询→错误→澄清→重试→确认→取消→更新”），再针对低于支持阈值的路径生成任务和初始状态。不要随机采样候选，否则稀有结构被漏掉的概率很高；可按模型尺度设定每个 canonical path 的目标深度，小模型少重复，大模型多重复。
- 父级归一化 SFT：一条多轮交互可能被渲染成多行训练样例，若按行平均会让长交互主导损失。以语义交互为单位赋予相等权重，再在内部按目标 token 数分配，可防止长轨迹过拟合，提升多轮和状态依赖任务的稳定性（消融中单独贡献 8.04 点）。
- 成功只做 gate，不做 license：在电商客服、订单处理等 Agent 场景，即使 API 执行成功，也可能包含错误目标或违反用户最新意图（如替换了已取消的商品）。将“成功”作为进入训练池的门槛，但不作为每个动作的监督许可；结合工作流顺序和用户确认来判定目标动作。
CoworkEnv：合成面向长时程同事智能体的训练环境
🧭 AI cowork agent 训练环境合成
The Hong Kong University of Science and Technology · The Chinese University of Hong Kong · Hong Kong Baptist University · Independent Researcher
用工作流需求合成可执行训练环境，同时产出 SFT 演示与 RL 奖励，训练小型 cowork agent
📌 工作参考价值（4 点）
- 电商智能客服/导购 agent 可参考 capability-guided 任务生成：从工作流需求出发，用程序化校验与反馈修复生成请求、工具接口、评分检查，减少人工标注和评审成本。
- Teacher executions 生成 SFT 演示 + student rollouts 产出 RL 奖励的两阶段数据管线，适合在线学习场景；可直接复用到多轮导购、售后工单处理等长时程任务。
- 关注 reward processing 与 credit assignment 配置：在长多轮 agent RL 中，分步奖励处理和信用分配对训练动态影响大，建议做消融而非直接套用单轮稀疏奖励。
- 对推荐系统本身借鉴有限，但可执行环境与程序化验证的思路可用于构建推荐 Agent 的仿真评估器，快速回归多步工具调用策略。
OfficeTown：面向专业组织的生成式模拟与智能体演进框架
🧭 生成式组织模拟 · 多智能体协作评估与训练
Wuhan University · University of California San Diego · South China University of Technology · Cornell University · Microsoft Research Asia
用生成式组织模拟持续产生专业任务、上下文与反馈，构建 406 任务基准并训练提升 Qwen3.5-9B
📌 工作参考价值（4 点）
- 用自然语言组织描述自动生成任务流、工件、权限和反馈，可迁移到电商运营/广告投放/客服等场景，低成本构建多智能体训练与评估环境。
- Principal–assistant 架构值得借鉴：主 Agent 拆解需求、委派边界子任务并审查交付物，子 Agent 只可见权限内上下文，适合搜索推荐链路中把意图理解、召回、排序、文案生成拆给不同子 Agent。
- 持久化 artifacts、decisions、unresolved matters 相当于跨任务长期记忆，可提升多轮推荐/搜索 Agent 对用户历史、活动状态和未决问题的利用效率。
- 模拟数据 + SFT/on-policy distillation 能有效提升外部专业工作基准，业务上可批量生成带评审反馈的搜索推荐 Agent 轨迹，蒸馏到中小模型，降低线上成本。
递归环境缩放：面向通用长程智能体的难度递增方法
🧭 Agent 环境难度缩放与课程训练
UESTC · HKUST · CUHK (SZ) · THU · WU
提出 RES 框架，固定任务目标、递归变换信息访问/资源关系/执行依赖，提升环境难度并增强 SFT
📌 工作参考价值（4 点）
- 借鉴 RES 的环境缩放机制做难度课程：在电商 Agent/对话推荐模拟器中，固定任务目标（如找商品、比价）不变，逐步限制信息可见字段、增加资源约束或依赖更多工具调用，生成难但语义一致的训练轨迹。
- execution-grounded checks 相当于自动质检：对生成的难环境不仅检查语法，更用可执行环境验证是否仍可完成，避免产生不可解任务，这对生成 Agent 训练样例有直接参考。
- 递归继承持续累积难度：可把多轮变更叠加，形成难度递增轨迹，用于课程学习或困难样本挖掘，避免每次从头构造。
- 结论显示同轨迹数下 RES 轨迹 SFT 全面优于原始轨迹：在推荐/搜广推 Agent 数据稀缺时，可优先构造变化环境扩充训练集，比单纯堆原始成功轨迹更划算。
Vela：以用户行为作为监督激发 LLM 智能
🧭 LLM 训练 · 用户行为监督 ★ 深度解读
AllSpark Team
用10万用户真实行为构造可见历史/隐藏未来任务微调LLM，同步提升用户理解与通用能力
📌 工作参考价值（4 点）
- 可直接借鉴「可见历史/隐藏未来」的构造方式：把电商/广告日志按时序切分，将浏览、搜索、购买、收藏、负反馈作为可见上下文，用未来购买/点击/广告互动作为 ground truth，自动生成预测式 SFT 数据，省去人工标注。
- 对用户画像摘要、搜索 query 生成、广告文案等 free-form 输出，用 Rubric 类模板 + LLM scorer 做任务特定 criteria 自动评估，例如「证据是否来自历史」「是否避免无据属性」，既可用于离线评测，也可作为训练信号。
- 用基座模型多次采样估计难度，只保留 0.2–0.8 中间难度任务，再选高分轨迹做 SFT/RFT；这套筛选在 AdRecommendation、ProfileSummary 等任务上带来稳定 OOD 提升，成本低，适合业务个性化模型训练。
- 先做用户行为 SFT 再做 RL，比从基座直接 RL 高 7.7 分；在电商/Agent 的 RLHF/GRPO 流程前，可先加入一批行为监督 SFT，作为个性化能力的更强初始化。迁移时需按业务事件 schema 重新设计模板，并注意行为数据隐私合规。
ClawLoop：基于 Harness 原生训练闭环的自改进 Agent 框架
🧭 自改进 Agent 训练闭环 · Harness 原生任务合成 ★ 深度解读
Meituan · Peking University
无外部教师模型下，通过任务合成-训练-诊断闭环实现 harness agent 自改进，并迁移到小模型
📌 工作参考价值（4 点）
- 任务合成用可执行 generator 直接产出环境、答案 key 和 answer contract，避免让 LLM 直接生成答案；电商/搜索场景构造模拟任务（订单聚合、库存核对、报表生成）时可借鉴“生成代码而非标签”，把隐含业务规则写成 skill/contract 文件，确保 reward 可验证且不泄漏。
- SFT 阶段只对 agent action token 计算 loss，mask 掉环境观察 token；多轮 agent 训练中商品详情、日志、工具输出往往很长，不做 mask 会主导梯度，这个 trick 可直接复用。
- RL 用 GRPO 时引入 admission band [N_l, N_h] 只保留当前策略通过率居中的任务，太难或太易都不产生 advantage；推荐/对话策略的自我博弈或课程学习可以按通过率过滤样本，动态保持训练信号密度。
- 诊断反馈闭环：让模型自己总结失败轨迹并聚合 failure patterns，驱动下一轮任务生成；可用于 query 改写、Agent 规划失败归因，自动生成针对性补强数据，不依赖人工分析。
HarnessSQL：真实数据库环境中 SQL Agent 的 Harness 原生训练
🧭 SQL Agent 原生训练 · 执行奖励 RL
Hong Kong University of Science and Technology · Microsoft Research · Tsinghua University · University of Macau
提出 HarnessSQL 训练框架，在 SFT 和 RL 中保留完整 SQL 交互结构，大幅提升小模型在真实数据库任务中的执行准确率
📌 工作参考价值（4 点）
- 借鉴 harness-native 训练思想：在电商搜索/推荐 agent 训练时，让模型直接调用线上同构工具（商品检索 API、数据库查询、排序服务），保留完整交互轨迹做 SFT，而不是只输入问题输出答案，缩小训练与线上推理差距。
- 使用 execution-reward RL：以可验证的结果（如商品是否被正确召回、SQL 是否返回正确结果、用户是否点击）作为奖励信号，只对最终成功轨迹给予正奖励，能有效提升长程 agent 任务表现，且无需逐步骤标注。
- 引入 hidden oracle 自动过滤高质量轨迹：在业务中可构建规则或脚本验证任务完成情况，从海量交互日志中筛选成功样本用于训练，降低人工标注成本。
- 隔离可执行沙箱环境：在离线训练时为 agent 提供稳定、可控的数据库/服务沙箱，避免真实环境波动导致训练不稳定；同时可模拟错误注入，增强错误恢复能力。
克服先验障碍：长尾分布下的监督微调
🧭 LLM SFT 数据选择 · 先验障碍 ★ 深度解读
Virginia Tech · Amazon · Meta · MBZUAI · Dartmouth College
提出 prior barrier 概念与 PASS 方法，自适应分配 SFT 预算以克服长尾预训练支持差异
📌 工作参考价值（4 点）
- 指令微调前，先对业务指令/参考集做 response embedding 聚类，形成 capability/concept 粒度；用预训练模型在各 concept 上生成响应，估计 support 和 prior barrier，优先给生成差且混淆多的类目分配 SFT 预算，避免按任务均分。
- 样本打分建议从 query 相似度升级为「正确响应 vs 竞争响应」的区分证据：用正确与错误/易混淆 response 表示构建 evidence matrix，选样时同时惩罚语义重复和有害/竞争样本，适合电商客服、商品导购 Agent 中意图边界模糊的场景。
- 该方法采用边际增益贪心，计算成本低于 LESS/TSDS，适合大规模候选 prompt 库筛选；对已有 LoRA SFT 流程可直接插入，用于提升长尾品类/任务能力。
- 即使不用完整 PASS，也可借鉴「先验障碍 + 自适应分配」思路：训练前用少量 reference 测模型各能力的 base 表现，按 head/tail 设置差异化数据配额。
面向长程终端智能体的可扩展数据合成引擎与 27B 模型
🧭 终端 Agent 长程数据合成与 SFT
University of Science and Technology of China · AMAP, Alibaba Group · Southern University of Science and Technology
TerminalHorizon 自动合成长程终端 Agent 数据，1.5K 环境 SFT Qwen3.5-27B 后在 12 个 benchmark 全面提升
📌 工作参考价值（4 点）
- 长程 Agent SFT 数据不能只靠环境自动补全，关键要保留“探索-试错-验证”证据链；在电商 Agent 场景（比价、选品、售后排查、广告账户优化）可借鉴“独立执行识别被省略的关键工作”，避免环境和工具过度简化导致模型只会调用工具、不会解决真实问题。
- 渐进式任务扩展：同一目标下不断加入依赖前序结果的新需求，可构造多阶段、有长期依赖的训练轨迹；适合推荐/广告 Agent 的“分析→策略→执行→复盘”流程，增强模型跨阶段一致性与反馈利用能力。
- 将环境重构证据显式纳入数据生产 pipeline，可自动化产出高质量 long-horizon trajectories，降低人工标注长程 Agent 数据成本；可结合内部 terminal/sandbox 工具做 RSI-style 自改进评估。
- 论文偏 terminal/coding agent，但 SFT 后通用推理提升的结论有迁移价值：可尝试用少量真实业务环境数据微调本地 LLM Agent，重点保留长期反馈与交付物迭代过程。
OpenMobile-2：构建可扩展环境与应用原生工具的通用移动智能体
🧭 移动智能体环境与工具混合训练
Nanjing University · SenseTime · The University of Hong Kong · Xi'an Jiaotong University · National University of Singapore
开源移动智能体OpenMobile-2，提供110+应用环境、12K SFT轨迹与2K可验证RL任务，支持GUI与原生工具混合使用
📌 工作参考价值（4 点）
- 借鉴「GUI + app-native tool」混合模式：在电商 Agent 中，把搜索、加购、下单等关键操作封装为结构化工具，与页面 GUI 操作交替使用，可降低对视觉解析的依赖，提高动作准确率和可执行性；同时保留 GUI 兜底应对未封装的长尾页面。
- 用可验证任务 + 自动奖励扩展 RL 训练：借鉴其 2K+ 可执行任务、自动 reward 的设计，在推荐/客服 Agent 训练中构造「完成订单/加入购物车/点击商品」等可自动判定的任务，低成本获取大规模 RL 数据。
- 构建跨 App 工作流仿真环境：在电商场景中，模拟搜索、详情、购物车、支付等多 App 跳转与重置，用于离线评测和训练 Agent，避免在真实 App 上试错；其 MobileGym++ 的 reset/verification 机制可直接迁移。
- 关注长时程商业任务评测：MobileGym++ Bench 支持 GUI-only 与 hybrid 共享任务套件，可用于对比不同交互范式的效果，帮助选型工具化 vs 纯视觉方案。
以更少训练学习更多：不确定性引导的渐进收缩实现高效推理后训练
🧭 LLM 推理后训练 · 数据收缩
National University of Singapore · Nanjing University · Fudan University · The University of Sydney · The Chinese University of Hong Kong
用不确定性引导的渐进收缩框架，将推理监督压缩至全量SFT的0.22%训练预算，且维持或提升推理性能
📌 工作参考价值（4 点）
- 在电商/推荐场景用 LLM 生成商品卖点、推荐理由或搜索 query 理由时，可借鉴「不确定性引导的数据筛选」：先对生成轨迹做蒙特卡洛树展开，计算中间步骤的 token 概率方差或模型置信度，只保留高不确定性的样本用于 SFT，能显著降低训练数据量而不丢效果。
- 两阶段收缩可以拆成「离线静态筛选 + 在线动态路由」：离线基于教师模型的不确定性先压缩语料，在线根据学生模型当前 loss 或梯度变化决定是否继续使用某样本，这种策略适合在增量训练或弱标注业务数据上做持续微调。
- 弱到强泛化结果提示：用较弱/较便宜的模型先对大规模生成数据进行筛选，再用筛选后的数据训练更强模型，能降低推理数据标注成本；这在需要大量 LLM 生成内容但标注预算有限的推荐文案、对话式推荐场景很实用。
- 过程级不确定性比只看最终结果的正确性更精细：在处理多步推理链（如购物决策解释、Agent 路径规划）时，可以定位到具体哪一步不稳定，从而针对性补充监督信号或修复 prompt，而不是重训整个样本。
WORKFORGE：从真实资源构建可验证长程工作智能体环境
🧭 Agent 长程工作环境合成与训练 ★ 深度解读
Tencent · Fudan University
提出 WORKFORGE，从真实工作资源合成可验证环境并生成训练轨迹，大幅提升长程智能体能力
📌 工作参考价值（4 点）
- 业务中构建 agent 训练/评测环境时，优先使用真实业务文件（报表、素材、SOP、数据表等）而非 LLM 合成，保留真实噪声和跨文件依赖，能显著提升 agent 在真实任务上的泛化。
- 采用「专家 workflow blueprint → 资源检索 → workspace profiling → 任务+验证器生成」流水线，把专家经验变成可复用模板，批量产出带隐藏解法和双验证器的训练样本。
- 用 workspace 可观察事实锚定任务规格与验证标准，避免 LLM judge 产生无依据的评分要求；轨迹筛选时混合 programmatic + semantic 分数，优于单一验证。
- 数据量和交互轮数均呈现 scaling 收益：优先收集长轨迹（41-60 轮 > 0-20 轮），训练序列长度放至 256K 并保留每轮 assistant loss；训练与评测 harness 对齐可带来额外提升。
自适应证据路由：学习计算正确上下文
🧭 自适应证据路由 · RAG 与计算融合 ★ 深度解读
MIT · Google Research
提出RECAST，将证据构建视为检索与计算操作的序列决策，用轻量RouterLM迭代选择/合成操作，在6个基准上平均准确率达75.6%，超最强基线15.9%
📌 工作参考价值（4 点）
- 把检索和计算统一为证据操作：在电商推荐/搜索场景中，不要只把用户历史或商品池当作检索对象；可把 SQL 聚合、Python 特征计算、代码合成作为等同的“证据获取”原语，让系统从原始数据中派生可用的上下文，而不仅仅是召回已有片段。
- 用轻量 RouterLM 做调度，冻结大模型做编译和回答：业务上可显著降低大模型调用成本；LoRA 微调小模型即可超过更大黑盒模型，适合需要在低延迟下做复杂证据构建的场景。
- SFT+GRPO 训练技巧可复用：从成功轨迹中选 SFT 专家，再用混合成败轨迹做 GRPO，配合 reward shaping（正确性 0.9 + token F1 0.08 + 结构 0.02）和 mixed-outcome filtering，比仅用正确性奖励提升明显，且样本效率更高。
- 规则化预处理 + compact source profile：将异构数据（表、文本、用户画像）统一为 records 并生成紧凑概要，避免把完整 source 塞进 prompt，能降低 token 成本并让路由模型更聚焦于证据需求。
直到证据确凿才结案：训练 LLM 调查员何时结案
🧭 LLM 推理闭环与不确定性判断
Peking University
构建 Nautil 事故调查数据集与三阶段结案评估，显著降低 LLM 过度自信并提升证据依赖结案准确率
📌 工作参考价值（4 点）
- 在客服、工单诊断、风控等需要“证据不足不下结论”的场景，可借鉴「证据依赖测试」：人工删除关键证据，要求模型必须停止闭环或明确缺失项，避免模型仅靠少量线索强行给出推荐/诊断。
- 用「仅来源规则」作为 baseline：在构建推荐或诊断数据集时，先检查 label 是否被来源/品类等浅层特征泄漏，若规则 baseline 已很高，需按来源分层评估，防止虚假高准确率。
- SFT 阶段用 teacher trajectories 显式教导模型输出“缺失信息”而不只给结论，可有效降低 LLM 过度自信，适合迁移到对话式推荐/Agent 的“不知道就反问”设计。
- RLVR 只奖励闭环决策可大幅提升准确率，但会牺牲对证据变化的敏感性；实际部署时建议将 evidence dependence 作为关键 offline 指标，避免模型“学会猜标签”而非真正依赖证据。
递归自重写扩展复杂任务成功轨迹
🧭 轨迹重写 · 自改进 SFT
Tencent HY LLM Frontier · University of Maryland, College Park · University of Georgia · National University of Singapore · Indiana University
用 planner-critic-executor 递归重写多 harness 成功轨迹，将 2k 源轨迹扩至 11k，SFT 后 terminal 任务 pass@3 全面提升
📌 工作参考价值（4 点）
- 数据合成去 harness 特定干预：引入 critic 自动检查 verifier leakage / solution leakage，可借鉴到推荐 Agent 训练数据生成中，避免把策略特有字段、评估答案或工具返回信号写进 SFT 样本，提升线上一致性。
- 成功轨迹规模化：用 planner 把少量成功 case 抽取为 runbook，executor 在新 sandbox 重放生成多样化轨迹，适合电商搜索/推荐中稀缺的成交路径、高转化 query 改写样本扩增。
- 多策略并行收集后统一蒸馏：三个 harness 联合比单一最强 harness 多解决 34.3% 任务；在业务中可并行跑多路召回/排序/工具链，仅保留成功结果训练 base 模型，避免单管线能力偏置。
- 过程奖励过滤：重写后 process reward 上升说明中间步骤质量提高；对长程推荐/Agent 任务，可用过程奖励而非只看最终结果来做数据筛选。
面向科学领域的终端环境自监督扩展
🧭 终端Agent环境自动化与SFT缩放
Tencent HY LLM Frontier · University of Georgia · University of Maryland, College Park · National University of Singapore · Hong Kong Polytechnic University
用现有科学软件工作流自动生成可验证的终端Agent训练样本，SFT后显著提升Terminal-Bench 2
📌 工作参考价值（4 点）
- 可用现有业务软件/API工作流自动生成(SFT)训练样本：给定输入schema和公开输入输出对，让LLM重构可编辑程序，再用隐藏配置验证，避免逐任务人工标注reference solution，适合电商/广告中的工具调用、查询生成等Agent任务。
- 层次化verifier思路可迁移：把语义比较、结构有效性、反捷径检查组合起来，防止模型学出表面匹配但语义错误的生成结果，对QueryRec和生成式推荐中的评估尤其重要。
- 已验证的高质量轨迹比单纯语料规模更有效：对verified trajectories做oversampling后SFT，在matched-token对照中全面领先，说明业务数据应优先筛选行为可验证样本，而不是直接堆量。
- 公共反馈支持迭代修订的机制可以改造成在线训练：先让Agent在公开样例上尝试，失败后根据反馈修改，最后在隐藏集上验证，类似强化学习中的self-play数据生产。
学习风格，遗忘语义：SFT与RFT分类任务案例研究
🧭 微调遗忘机制 · SFT vs RFT
University of California, Davis
理论证明SFT因风格漂移导致语义遗忘下界为正，而RFT保持零语义误差
📌 工作参考价值（4 点）
- 在业务中持续微调LLM（如搜索/推荐文案生成、query改写）时，若教师数据存在风格偏好，SFT可能把模型带偏到风格维度而遗忘底层语义能力；可监控风格漂移指标，或对提示分布做均衡化。
- 当任务需要保持跨风格一致性（如同一语义的多种表达），优先考虑RFT/策略梯度或加入风格不变正则，避免SFT因非均匀教师产生离轴漂移。
- 理论框架可指导混合训练：在已有较好拟合的checkpoint上继续SFT时，注意前几步更新的方向，防止在风格上过拟合；必要时用RFT微调或对SFT更新做投影约束。
- 该工作主要偏理论学术贡献，业务可借鉴点有限，核心价值在于提供理解SFT遗忘的新视角。
用采样做微调：SFT 比你想的更强
🧭 LLM 后训练 · MCMC 数据分布塑造 ★ 深度解读
Harvard University
用投影采样把离策略专家轨迹逐步变为接近基座模型分布的数据，使 SFT 在科学、数学、医学任务上超越 RL 与自蒸馏
📌 工作参考价值（4 点）
- 在电商/导购 Agent 里做 LLM 后训练时，如果手里有 GPT-4/GPT-5 生成的专家轨迹（如 query 改写、商品文案、购物建议），不要直接 SFT。可以先跑一遍投影采样，把专家轨迹改写到基座模型自己的分布附近，再做 SFT，能明显减少通用能力遗忘。
- 对难以写出 reward 的开放任务（如导购对话、医学/法规咨询生成），可以先采样出 on-policy 版本的高质量轨迹，再 SFT；这比直接上 GRPO/RL 更稳，工程上只需要离线数据加工，不改变现有 SFT 训练管线。
- 采样成本是一次性的，适合电商场景里「预先生成训练数据 → 日常微调」：建议 B=32、N_MCMC=10 起步，后续用 MCMC 步数作为数据质量与 token 成本的旋钮；图 5 表明加采样步数能单调降低数据 KL、提高下游精度。
- 如果要继续上 RL，采样 SFT 的 checkpoint 是很好的 RL 初始化，数学任务里 Sampling SFT + RL 拿到了更强结果；在商品推荐 Agent 的 RL 训练前可用同方案做 warm-start。
即时 Agent 记忆：运行时按查询构建上下文的 JAM 框架
🧭 Agent 记忆 · 运行时上下文构建 ★ 深度解读
Beijing Academy of Artificial Intelligence · Peking University · Hong Kong Polytechnic University
JAM 将 Agent 记忆从请求无关预压缩转为运行时按查询构建上下文，结合分层工作区与可训练研究员策略
📌 工作参考价值（4 点）
- 对推荐 Agent 的用户长期行为/会话历史，不要只存预生成摘要；学 JAM 保留原始 session，并用轻量 memo/README 做导航，在线时用小模型按 query 迭代 open/search/browse，保留跨 session 细粒度依赖。
- 工程上采用 hybrid BM25 + dense retrieval 提供候选；离线建库一次性成本可接受，在线 13.81s/query 质量反超 58.08s 的 MemAgent；测试期可增加 action budget 换取 F1，budget 是上限而非固定成本，多数 query 早停。
- 训练研究员时用 verified-trajectory SFT 过滤“浅搜即答”的捷径行为，再用 GRPO 优化，奖励用 source recall（召回 gold supporting sessions）；训练时注入 hint 稳定多步探索，推理时移除，业务可直接复用该奖励设计。
- Memory-Gym 的四阶段合成 pipeline（anchor discovery → task-dependent expansion → instantiation → validation）可改造用于生成电商场景训练样本：单跳定位、多跳证据连接、多 session 聚合，覆盖用户行为轨迹与商品知识。
WEFT：通用智能体工具使用后训练的全系统扩展框架
🧭 Agent 工具使用后训练 · 全系统扩展与自进化 ★ 深度解读
East China Normal University · Fudan University · Shanghai Innovation Institute · Renmin University of China · Shanghai Qiji Zhifeng Co., Ltd
构建可扩展交互系统、执行驱动自进化与稳定训练，WEFT 在多个工具使用基准上超过同规模环境扩展基线。
📌 工作参考价值（4 点）
- 在构建电商工具调用训练环境时，不要只堆 API/MCP 数量；建立「执行证据→失败归因→修订环境/任务/校验器」的闭环。具体 trick：用状态 diff 和工具返回来做 verifier，先修环境 bug 再训模型，减少“模型背锅”。
- SFT 数据构造用 prefix-preserving rejection sampling：以原子任务（如“查商品→加购物车→下单”）为边界，失败只重采样当前原子任务的 attempt，保留已验证前缀和状态快照，提高长链路训练轨迹利用率。
- RL 中做 atomic-turn credit assignment：对每个原子任务组内做 group-relative 归一化，只对当前 turn 的 policy token 施加 advantage，避免 trajectory-level reward 把无关前缀也更新；对检测到重复/格式错误/接口违规的成功段，mask 正 credit。
- 部署层面，可用类似 MegaMCP 的共享服务+私有状态隔离：MCP/工具服务共享 Python 进程，数据库 copy-on-write 克隆，workspace 隔离，快照支持重试/候选采样，降低大规模 rollout 成本（upload 降 95%、内存降 77-95%）。
在线策略参数更新方向支撑LLM后训练泛化
🧭 LLM后训练·参数更新方向约束
State Key Lab. of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Meituan
提出OPSFT：约束SFT沿在线策略累积更新方向更新，仅少量在线策略步即可将泛化优势迁移给监督微调
📌 工作参考价值（4 点）
- 在需要保留在线策略泛化能力但训练预算有限的场景，可先跑少量 on-policy 步骤提取累积参数更新方向，再用 OPSFT 将大规模 SFT 更新投影到该方向，避免全量线上采样成本。
- 对已有高质量人工标注/线上反馈轨迹的电商导购 Agent 或文案生成模型，可将这些轨迹作为 OPSFT 的 SFT 数据继续训练，不会破坏之前在线策略学到的探索与泛化能力。
- 该方法提供了一种从在线策略到离线 SFT 的“方向蒸馏”机制，适合工业界在 RLHF/DPO 与 SFT 之间做低成本的训练范式切换。
- 注意该方法主要针对 LLM 后训练流程，不直接改变推荐/召回模型架构；若业务中需要频繁迭代生成式模型，可在训练 pipeline 中作为正则项复用。
从扰动公开文档合成训练数据提升大模型上下文学习能力
🧭 LLM 合成数据与上下文学习训练
AllSpark Team
用少量扰动公开文档合成10k上下文推理样本，将35B模型CL-bench从13.7%提升至24.6%，媲美万亿参数模型
📌 工作参考价值（4 点）
- 用于电商知识库/RAG 助手训练：把产品说明、活动规则、广告政策等内部文档做同义改写/扰动，再生成需逐段推理的问答，只保留“去掉文档就答不对”的样本，可低成本造出强迫模型依赖上下文而不是记忆的数据。
- 两阶段训练：SFT 提升基础上下文跟随，再接 rubric-reward RL 用评分准则作奖励，在少量数据（10k）下把小参数 MoE 模型拉到接近大模型；适合业务中无法大规模标注的场景。
- 过滤机制可复用：用改写前后答案变化、引用证据检查等方法自动筛选高质量上下文依赖样本，避免合成数据里混入可通过参数知识回答的“伪上下文”样本；对长商品描述、多轮 Agent 工具结果等场景尤其有价值。
- 观察到的迁移：改进集中在长上下文理解、指令遵循和推理，对代码和知识影响小。如果业务目标是让模型在复杂上下文里做推荐决策/政策合规，可比通用知识注入更精准。
Skill2Env：面向通用智能体的基于技能与能力导向的环境合成
🧭 Agent 训练环境合成 · 能力导向 ★ 深度解读
AllSpark Team
以技能为种子、能力需求为引导，通过难度模式与任务蓝图合成可执行环境，并用迭代硬化提升训练监督质量。
📌 工作参考价值（4 点）
- 技能驱动的环境合成可迁移到电商导购/客服 Agent 的训练数据生产：把商品知识库、退换货 SOP、比价工具封装为 skills，按能力需求（环境理解、规划、工具使用、长程一致性、错误恢复）自动生成多步交互任务和沙盒环境，解决真实交互数据稀缺。
- “任务蓝图”作为作者侧契约值得借鉴：生成指令/评测数据时显式分离 instruction、environment facts、information boundary 和 acceptance criteria，避免关键信息泄漏进 prompt，同时为 rubric 打分提供可追溯依据。
- Iterative Task Hardening 的课程式加难机制可复用到 Agent 训练/评测集：用 solver rollout 的满分率、交互轮数等执行证据定位“太简单”任务，再通过加 pattern 强度（如分布式证据、schema mismatch、partial failures）逐步提升难度，比重新采样更高效。
- Rubric 评估混合确定性检查和 LLM judge，并为每个 rubric item 记录证据；电商 Agent 自动评测建议采用这种“可程序化项用规则、开放项用模型、结果附证据”的打分方式。
面向高效推理：为扩散语言模型学习因果捷径
🧭 扩散语言模型推理训练优化
Zhejiang University · Shanghai AI Laboratory
提出CSL框架，通过提取因果捷径并优先掩码训练，提升扩散语言模型推理精度与收敛速度
📌 工作参考价值（4 点）
- 如果业务中尝试用 Diffusion LM 做推理型任务（如 Agent 规划、推荐理由生成），不要用 random masking；先提取推理链中的关键 token（causal shortcuts），优先 mask 这些 token 做 SFT，能明显提升收敛速度和最终精度。
- 论文给了一套 step-by-step token extraction 流程，可以从业务数据里自动挖出“因果捷径” token 链，适合迁移到需要生成结构化推理路径的场景（如电商导购 Agent 的决策链路）。
- 核心结论是：在双向扩散模型的 SFT 中，控制 mask 分布比随机 mask 更高效，这个思想也可以借鉴到其他 masked/denoising 序列模型训练中，作为训练效率调优手段。
- 对线上推理有启发：如果已部署 DLM，可以通过识别并保护 causal shortcut token 来减少探索空间，加快生成收敛，降低推理延迟。
onPanda：基于 Token 级纠错的 LLM 与 Agent 对齐数据高效标注
🧭 LLM 对齐数据标注 · token-level correction
StepFun · Xiamen University
用 token 级定位-纠错-续写循环高效生成 on-policy 对齐数据，标注时间中位数降低 52%
📌 工作参考价值（4 点）
- 生成式推荐/对话式 Agent 的 SFT 数据可由模型续写产生：先让模型生成候选回复，标注员只做 token 级首错纠正，后续自动截断重新生成，大幅减少人工整段改写，同时保持数据接近模型自身分布。
- token 级纠错记录提供「前缀 - 错 token - 正确 token」的孪生样本，可直接构造细粒度偏好对或 token 级 loss，比整句 preference 更有定位能力，适合电商导购话术、搜索词改写等短文本生成的调优。
- 对 Agent 轨迹标注可借鉴其交互思路：在 trajectory 回放中定位第一个错误 step/token，修正后继续 roll-out，能获得低成本 on-policy 轨迹数据并保留后续状态分布，适合工具调用、多轮商品推荐对话的数据采集。
- 工程上可参考其候选 token 展示与编辑结合的方式：先给出模型 top-k token 供快速点选，无法匹配时再自由输入，兼顾标注效率与灵活性；概率颜色编码帮助标注员快速定位低置信 token。
不要掩码环境：观察监督如何改变 Agent 在 RL 下的探索
🧭 Agent 轨迹 SFT 监督目标扩展
University of Maryland · AWS AI Labs
SFT 同时监督 observation token，无需额外数据即可提升后续 GRPO 的 pass@k 与探索多样性
📌 工作参考价值（4 点）
- 在训练对话式推荐 / 搜索 Agent 时，SFT 阶段可以对环境返回的观察 token（如商品信息、搜索结果片段）也计算交叉熵损失，不增加数据、参数或序列长度，能显著提升后续 RL 的采样质量（pass@k）。
- 若 Agent 需要工具调用或多轮交互，联合监督 action 与 observation 可以防止模型过度特化于动作生成，保持对环境的预测能力，使 RL 阶段策略更新幅度更小、更稳定。
- 对于需要高多样性输出的场景（如广告文案生成、Query 推荐），可借鉴 ActObs 思路：在预训练或 SFT 时对“用户反馈”或“系统状态”也加监督，让 RL 后模型保留更多熵，提升 pass@k 而非只追求 pass@1。
- 工程实现上零额外成本：只需修改 loss mask，把原本作为上下文的 observation token 也纳入预测目标，即可复用现有 SFT 流水线。
RecreationWorld：面向混合计算机使用智能体的可扩展可验证环境
🧭 混合计算机使用智能体基准与训练 ★ 深度解读
Alibaba Token Hub, Alibaba Group
以“复刻运行中应用”为核心任务，构建跨五平台的混合 GUI/代码智能体基准与训练框架
📌 工作参考价值（4 点）
- 用“reference-as-oracle”做自动化回归：电商页面改版、前端重构、配置迁移时，把旧版/线上版本作为运行 reference，自动采集动作-响应和截图，生成 Programmatic + VLM 断言，替代人工比对，得到可回放、可量化的验收指标。
- 复制混合工作流到业务 Agent：不要硬限制 GUI-only 或 code-only；给 Agent 同时开放 GUI 观察、代码编辑、构建/运行三类工具，让它自主切换。论文显示这种混合轨迹在长程任务中切换频繁，且基于可验证环境做 SFT 能迁移到 OOD 编码/计算机使用任务。
- 用拒绝采样 + 可执行奖励造 SFT 数据：如果业务中有可自动评分的交互环境（如商品页面结构化抽取、RPA 流程、店铺装修），可跑多模型 rollout，用隐藏测试套件打分，选高奖励轨迹微调，减少人工标注。
- 工程降本技巧：把链式 MCP 原语调用改成持久化 REPL + typed SDK，让模型在本地循环处理中间结果，可大幅降 token 和成本（输入 -40.7%、tool-result -65.5%、成本 -54.1%），质量不降，适合 GUI Agent 落地。
ScienceIDE：将全球科学代码库转化为智能体可学习环境
🧭 科学智能体环境构建与模型训练
AItonomy Foundation · PhAI-Labs
提出ScienceIDE基础设施，将科学代码库转化为可编程环境，训练PhAI-IDE模型家族在科学代码修复与通用基准上获得提升
📌 工作参考价值（4 点）
- 构建领域专用可执行环境：可将推荐系统、广告投放等业务代码库封装为类似 Gym 的交互环境，提供任务生成、执行、验证 API，自动生成 SFT 和 RL 训练数据，降低人工标注成本。
- 专家定义验收标准：在业务中明确可量化的验收指标（如 CTR、ROI、延迟），让 Agent 围绕这些标准迭代优化，可作为奖励函数设计依据，提升训练信号质量。
- 环境与模型协同训练：利用环境生成的交互轨迹训练 LLM，使模型不仅能生成代码，还能操作业务系统，提高 Agent 在真实任务中的成功率。
- 正向迁移验证：科学领域训练带来的通用能力提升提示，在电商/推荐领域积累的领域交互数据也可能反哺通用模型，可探索内部数据训练基础模型的新路径。
构建多语言桥梁：数据混合作为语言内推理泛化的支柱
🧭 多语种语言内推理 · 数据混合训练
Cohere Labs · Cohere
通过数据混合与调度优化，3.35B模型在60种语言上实现93%以上语言内推理率，证明推理行为可跨语言迁移。
📌 工作参考价值（4 点）
- 数据混合降本：跨境业务的多语言场景下，只需英文推理标注数据 + 目标语言的通用语料，即可让小模型获得目标语言上的推理能力，避免为每种语言单独标注推理数据。可用于多语言商品推荐解释、售后问答等。
- 推理语言一致性：将“语言内推理率”作为核心评估指标，监控模型在用户使用语言上的推理占比，避免模型在非英语语言下切换回英文，提升本地化体验和用户信任。
- 小模型可行性：3.35B参数即可达到高语言内推理率，说明中小规模模型结合高质量数据混合策略可以在有限算力下覆盖多语言推理场景，适合需要低延迟、低成本的多语言搜索/推荐助手。
- 调度策略借鉴：SFT中数据调度对推理泛化有重要影响，可尝试“先英文推理数据建立骨干，再混合多语言非推理数据”的课程式训练，在训练过程中动态调整语言配比以稳定能力迁移。
ActReview：基于作者反驳引导与评分量规奖励的可操作同行评审生成
🧭 LLM 后训练 · 行动导向评审生成
Yale University · University of Chicago · TCS Research
用作者 rebuttal 揭示的修改动作作为潜在监督，构建 ActReview-40K 并后训练模型生成可操作且带证据的评审建议
📌 工作参考价值（4 点）
- 用交互反馈作为弱监督信号：rebuttal 与 review 的对齐类似于电商评价回复、客服工单中用户申诉/追问能暴露真实意图，可用于训练解释生成或建议 Agent。
- 候选感知、弱点特定 rubric 奖励可迁移到推荐理由/诊断报告生成：将输出质量拆成多个细粒度 rubric，结合候选集合用 LLM 判定或规则奖励做 GRPO，提升生成质量与可控性。
- 局部证据检索与 grounding 机制适合需要引用商品/内容原文做可信推荐解释、搜索结果摘要或 push 文案的场景，能缓解幻觉并提升可验证性。
- 人类评估中技术准确性仍有 gap，提示业务上线 LLM 建议类功能时应加入技术准确性抽检与领域知识约束，不能只看流畅度和 actionability。
重新审视完整推理轨迹在后训练中的作用
🧭 LLM 推理后训练 · 轨迹截断
NAVER AI Lab
完整推理轨迹对SFT收益有限，仅用端点训练更高效且可迁移到RL和蒸馏
📌 工作参考价值（4 点）
- 在训练 LLM 生成推荐理由、商品卖点、搜索 query 改写等推理链时，可只保留结论或关键步骤，不必收集完整思维链；中间冗余 token 会分散学习，截断后模型可借助内部知识补齐缺失步骤。
- 使用端点（如最终答案/推荐结果）作为 SFT 目标，能提高样本利用效率，降低 token 长度与训练成本，尤其适合大规模商品语料和长推理场景。
- 对基于 RL 或 on-policy distillation 的 Agent 策略优化，可考虑用部分轨迹或关键状态对替代全轨迹，减少冗余更新和奖励 hacking，保持推理行为稳定。
- 在构建电商问答/搜索推荐 Agent 的训练数据时，优先定义任务端点和关键中间约束，而非依赖完整长文本；该发现支持用更简洁的监督信号。
Iris：攀登搜索前沿
🧭 搜索 Agent 训练与评估方法 ★ 深度解读
AllSpark Team
通过网页超链接反向构造多跳搜索任务、双层轨迹过滤与SFT-RL迭代爬升，训练出开源同参数范围最强的搜索Agent
📌 工作参考价值（4 点）
- 数据合成：在电商/推荐的 QA、选品理由、query 改写数据中，把可搜索锚点（商品标题、类目名、品牌名）改写为描述性引用，消除字符串匹配捷径；再用双条件验证（闭卷答错 + 给知识子图答对）筛出真正需要多跳推理的样本。
- 轨迹过滤：对 LLM 生成的推荐解释/搜索对话轨迹，用滑动窗口 zlib 压缩比快速检测重复和循环；turn 级 judge 从数据中归纳失败模式 rubric，只 mask 最多 10% 差 turn，保留上下文、减少训练噪声。
- RL 工程：长会话训练可用 request-level partial rollout 中断并在下步从 committed prefix 恢复，配合 truncated importance sampling 纠正不同权重版本的 logprob 偏差；集群内部署 GenRM 与摘要器，避免外部 API 依赖。
- 评估/上线：将 context management 与策略能力分开报告，固定工具、上下文预算、judge，分别看无 CM 和有 CM 的结果；识别 CM 收益来自任务是否经常耗尽上下文，高成本重试只作为上限探索，不作为默认配置。
终端宇宙：将代理轨迹转化为可扩展终端环境
🧭 代码代理环境重建与训练数据合成
Qwen Team, Alibaba Group · Tsinghua University
从终端代理轨迹重建可执行环境，并扩展单轮/跨仓库多轮任务，SFT 大幅提升代码代理基准
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 中，可借鉴轨迹回放恢复环境：从真实日志（点击/搜索/下单）反向重建决策前状态，再用补全模型补缺失上下文，生成可重用的训练环境，而非只存静态问答对。
- 广度扩展可用于跨业务域任务构造：挖掘不同店铺/订单/支付等子系统的依赖关系，合成跨系统串联任务，训练模型进行多步工具调用。
- 深度扩展的 user agent 模式可用于多轮交互训练：模拟用户逐步反馈和需求细化，把单轮意图改写成多轮会话，提升推荐/客服 Agent 的持续交互能力。
- 环境可重查询特性适合构建推荐/广告模拟器：通过执行反馈做可验证采样或拒绝采样，替代固定轨迹数据。
分层多智能体系统实现长程遥感任务可靠求解
🧭 多智能体分层协作与强化学习优化 ★ 深度解读
Beijing University of Posts and Telecommunications · Hunan Normal University
提出 Manager-Specialist 分层多智能体架构，通过步骤级验证和分层强化学习大幅提升小模型长程工具调用与任务成功率
📌 工作参考价值（4 点）
- 复杂长链路业务（选品→人群定向→素材生成→投放→复盘）可借鉴 Manager-Specialist 分层：Manager 负责全局规划、步骤级验证和失败重规划；Specialist 按业务阶段分组工具（如召回/排序/出价），减少跨域工具混淆。
- 在中间产出设置 schema/一致性/约束检查，维护结构化中间状态，支持 fail 重试、uncertain 交叉验证，避免错误在长链路中传播；这对广告投放、推荐策略生成等容易因上游错误导致下游失效的场景尤其有用。
- 训练技巧可复用：两阶段 SFT 先注入领域知识再做 workflow 对齐，能低成本提升小模型业务能力；强化学习时对工具调用按 tier 给分（幻觉工具 -1，域内错误工具 -0.5，正确工具 0.5+执行分），比只奖励最终成功提供更稠密训练信号；Manager/Specialist 分开计算 advantage 后合并 loss，共享 backbone + LoRA 减少部署成本。
- 在小模型上通过结构化层次和验证控制即可接近大模型效果，业务资源受限时不必盲目上大参数量模型。
SWE-Prime：用更少轨迹实现更好性能
🧭 轨迹数据筛选与分段SFT
Sun Yat-sen University · Huawei Cloud Computing Technologies Co., Ltd. · Chongqing University
提出多粒度两阶段SFT数据筛选，轨迹级选10%高质量子集并片段级屏蔽损失，训练效果超全量数据
📌 工作参考价值（4 点）
- 在电商导购/售后 Agent 的轨迹 SFT 中，可直接借鉴“成功轨迹 ≠ 优质监督”的假设：先按结果质量、过程质量、代表性筛掉含无效操作或高风险步骤的样本，再用小比例高质数据做 SFT，实验显示 10% 数据可超越全量；适合业务上语料噪声大、训练成本敏感的场景。
- 分段级 loss masking 很实用：保留完整轨迹作为上下文，但只让“对最终成交/解决方案有正向贡献、可学习且低风险”的 segment 参与梯度回传，能避免模型模仿冗余点击、重复搜索或危险操作。
- 三段评估指标可迁移：贡献度（是否影响最终结果）、可学习性（Agent 能否从该步骤归纳出策略）、风险（是否会放大幻觉/违规动作）可作为构建推荐/搜索 Agent 轨迹语料的自动过滤信号。
- 若是多步商品推荐/搜索召回 Agent，可按语义将轨迹切分为意图识别、query改写、候选筛选、解释推荐等片段，复用其片段级数据选择框架，只优化关键决策段。
相同排序质量下的决策分歧：训练顺序一致的 LLM 打分器
🧭 LLM 打分器顺序一致性训练 ★ 深度解读
Thomson Reuters Labs · University of Toronto · Vector Institute
提出 OC-SFT 顺序一致性训练，在不损失排序质量下显著提升 LLM 打分器在重排、QA、偏好选择中的决策稳定性
📌 工作参考价值（4 点）
- 线上使用 batched pointwise scoring 时，候选顺序会显著影响分数及下游决策（阈值截断、top-k 阅读、偏好对选择），不要只看 nDCG。推荐在训练阶段加入 OC-SFT 式一致性惩罚：对同一窗口做两次 shuffle，一个 view 做 relevance anchor，另一个 view 拉向 view-mean，MSE 惩罚学生自身 order variance。N=2 足够，推理时仍只需一次 permutation。
- 该方法可将 passage reranking 的 retained-set overlap 从单顺序蒸馏的 0.656 提升到 0.835，同时 nDCG@10 基本不变（0.459 vs 0.449）；在 multi-doc QA 上 answer flip 从 0.177 降至 0.125；在 response ranking 上 pair flip 从 0.869 降至 0.661。一个 OC-SFT permutation 的稳定性即可超过 10 次离线平均 permutation 的 batched self-consistency。
- 训练标签无需 order-averaged distillation 的 10 倍 teacher 计算，只需单个 teacher 顺序，节省离线成本。更强的 teacher 只提升质量不提升稳定性，说明稳定性收益来自 penalty 而非监督信号，可放心复用现有 teacher。
- 如果打分器服务决策场景（如广告过滤、商品精选、prompt 选择），应报告决策稳定性指标：保留集 Jaccard、答案翻转率、偏好对翻转率，而不只是 ranking quality。round-robin partition 可提升 nDCG@10（+0.052）但不能改善决策稳定性，logit calibration 也无效，所以需要从训练目标入手。
校准到知而不校准到行：伪造证据使 LLM Agent 承诺不可知问题
🧭 LLM Agent 决策校准与 SFT 修复
Independent Researcher
专业外观的市场面板大幅提升 LLM Agent 对不可预测问题的承诺率，定位为行动门控失效且可通过 SFT 修复
📌 工作参考价值（4 点）
- 在电商/广告的 LLM Agent 决策链路中，对“不可预测”类问题（如未来销量、市场波动）增加显式门控：在行动前先让模型或一个小型分类器判断问题是否可答，避免被权威格式的不相关证据诱发错误承诺。
- 对输入给 LLM 的指标/面板等证据进行可信度过滤：即使数据是伪造的，专业外观仍会显著提升模型承诺率，因此需验证数据来源，或通过 prompt 强调“仅使用问题本身信息，忽略装饰性面板”。
- 可以使用少量合成数据 SFT 一个小模型（如 3B）来训练“拒绝不可知”的门控，实验显示 540 个案例即可将承诺率降至 0 并跨领域迁移，适合业务中快速构建风险控制模块。
- 注意响应格式：为模型保留推理空间（如允许 chain-of-thought）是门控生效的关键，强制输出决策的刚性格式会导致模型自信犯错，因此在设计 agent prompt 时避免直接要求“是/否”而不给推理步骤。
将科学论文展开为多轮生成轨迹用于继续预训练
🧭 合成写作轨迹 · 继续预训练 ★ 深度解读
ByteDance Seed · Nanjing University · Evolvent AI
把 arXiv 论文展开为“写作请求→全局计划→逐节思考→正文”多轮轨迹，构建 60B token CPT 语料，提升写作与长文阅读
📌 工作参考价值（4 点）
- 真实业务长文本可反向构造“写作过程”数据，不改写内容：电商商品详情页、广告落地页、搜索导购长文、Push 文案等结构清晰的长文本，保留原文为答案/正文，反向生成用户 request + 全局规划 + 每段写作前 deliberation，适合 CPT 或 SFT，能提升文案生成、摘要、长文阅读，同时把事实锚定在原文减少幻觉。
- 结构化文档拆成多轮轨迹，让模型学会规划与分段生成：按 section/block 拆分，在每段正文前插入 pre-writing deliberation，比“整篇+一段思考”更细粒度；对推荐理由生成、商品对比、报告生成等任务，可把商品参数、卖点、用户评论作为不同 section 来构造数据。
- 数据构造不依赖大模型，用 4B/9B 开源模型即可：论文显示 4B 生成器下游效果最好，且更难拟合的 synthetic data 更有训练价值；业务上可以低成本大批量生产 trajectory 数据，不必上最强 API。
- 评估也锚定 held-out 真实文本，并生成 rubric/checklist：可借鉴到业务评测：从近期未用于训练的真实商品/query/文章抽取，让 LLM 反向生成题目 + 评分规则，用代码可检查的 checklist 做格式/事实约束，配合 LLM judge 打分。
低资源语言推理微调：SFT 的所得、RL 的修复与准确率的盲区
🧭 低资源语言推理微调与行为评测 ★ 深度解读
Sophea AI · KIEFER SA
三个 MoE 模型希腊语推理微调显示：准确率被种子噪声主导，语言保真、推理预算与格式遵从等行为指标才稳定，RLVR 可修复 SFT 缺陷
📌 工作参考价值（4 点）
- 微调领域/多语言 LLM 时，不要把 accuracy 当唯一指标：固定种子做 3 次重复训练先测噪声地板；用行为指标（输出是否进入指定 schema、推理轮次/token 预算、格式遵从率）作为发布门槛，并控制指标与生成长度的相关性。
- 数据配方可迁移：如果模型只用于生成/推理（例如商品推荐理由、搜索 query 改写），去掉通用对话数据只保留 reasoning 数据可提升格式遵从与准确率（+6.9pp）；若需同时保留闲聊能力，两阶段训练并用 fallback% 监控第二阶段对指令遵从的破坏。
- RLVR（可验证奖励强化学习）能廉价修复 SFT 的格式缺陷：答案格式 fallback 从 24% 降至 2.5%、答案泄漏到推理通道从 3.5% 降到 0%，且不破坏已获得的希腊语推理习惯；在电商 Agent 中可用规则奖励约束输出 JSON/槽位，避免后处理重写。
- 多语言/低资源部署注意 serving 成本与 tokenizer 生育率：希腊语每词 token 是英语 2.3-2.5 倍，所以缩短 trace 不一定省 token；不同 MoE 家族可能一个省 3× token 另一个反而 1.6× 更贵，评估时要按自己 tokenizer 重算。
FACET：终端任务合成中保留源意图与可执行状态
🧭 终端 Agent 可执行任务合成与数据高效微调 ★ 深度解读
University of Science and Technology of China · Shanghai AI Laboratory · Fudan University
FACET 通过先构建并修复容器环境、以共享可执行状态串联指令/解法/验证器，合成高密度可验证终端任务，用 1.2K 成功轨迹显著提升多尺度模型 Terminal-Bench 表现。
📌 工作参考价值（4 点）
- 在构建 Agent 训练/评估环境时，优先先物化执行环境（文件、schema、服务、依赖），再生成指令、参考解和校验器；用真实落地状态作为共享 grounding，能显著减少 schema/path/contract mismatch。
- 顺序生成 I→S→V 且让 solution 实际执行后再生成 verifier，可以提高 solution–verifier 对齐；在业务中搭建离线模拟环境（如模拟用户、商品库、策略状态）时可直接套用该顺序。
- 验证失败时通过执行 trace 路由到具体 artifact 单独修复，而不是整包重生成，可保留已有效组件、降低合成成本；适合用于构建数据合成 pipeline 或 RL 环境。
- 用更高密度的可执行检查（多个独立断言）能暴露“只差一两个条件”的失败模式，提供更细粒度训练信号；在标注成本高时，应优先提升单条数据的 grounding 与验证密度，而不是单纯扩大数量。
信息丰度悖论：长上下文训练削弱参数化知识
🧭 长上下文训练中参数化与上下文化的权衡 ★ 深度解读
Johns Hopkins University
提出信息丰度悖论：训练上下文越丰富，模型越依赖上下文而非参数知识，导致长上下文训练并非中性增益
📌 工作参考价值（4 点）
- 在电商搜索/推荐中用 LLM 建模用户行为序列时，盲目拉长训练上下文可能让模型过度依赖近期上下文，削弱对长期兴趣的参数化表达；建议通过无上下文/冲突上下文测试评估模型鲁棒性，找到最优上下文窗口而非一律用最大长度。
- 微调推荐/Agent 模型时，若训练集中大量提供高质量候选上下文（如检索文档、相似商品），模型容易“上瘾”于上下文。可在微调时混合一定比例无上下文或含噪声上下文的样本，迫使模型同时保留参数知识。
- LoRA 适配器放置位置可以调节学习模式：希望模型更多依赖参数知识（如长期用户画像）则倾向于只更新 FFN 层；希望模型更好利用上下文（如对话历史）则更新 Attention 层。可根据业务需求选择模块化微调策略。
- 在 RAG 或长上下文生成式推荐中，性能可能随上下文长度呈倒 U 型；建议在验证集上搜索最优上下文长度，并监控模型在上下文缺失或误导时的衰减程度，避免部署后出现脆弱性。
超越能力边界：零阶优化驱动的自进化LLM智能体
🧭 Agent 自进化 · 零阶优化突破能力边界 ★ 深度解读
北京理工大学计算机学院智能信息技术北京市重点实验室 · 深圳MSU-BIT大学广东省机器感知与智能计算实验室 · Alaya Lab
通过零阶梯度估计扰动LoRA参数，使Agent在困难样本上也能采样正确轨迹，突破能力边界。
📌 工作参考价值（4 点）
- 零阶优化思想可迁移至推荐系统模型更新：当环境反馈为黑盒（如点击、转化）无法直接求梯度时，可通过对服务策略参数（如召回或排序的LoRA分支）施加随机扰动，利用线上指标变化估计梯度，实现无需过程监督的自优化。
- 并行扰动推理机制大幅降低零阶优化的采样开销：只计算一次骨干预网络输出，多个轻量LoRA支路并行评估，适合在线服务中低延迟要求下进行策略探索。
- 自适应查找缓存（Adaptive Lookup）对重复工具调用（如搜索相同关键词、访问同一页面）做命中复用，节省30%-50%的交互时间，在推荐系统中可类比为缓存用户画像/点击日志，避免重复计算，加速多臂老虎机策略评估。
- 答案困惑度损失（Answer Perplexity Loss）提供平滑、稳定的信号，比稀疏的二元奖励更利于优化收敛；在推荐场景中可用商品描述或用户评论的对数似然作为过程级信号，缓解结果奖励稀疏问题。
意图胜过语言：可控用户模拟突破仅模仿回复
🧭 用户模拟 · 意图可控生成
Beihang University
提出 UserIDA，通过显式逐轮意图指令实现可控用户模拟，意图准确率大幅领先基线
📌 工作参考价值（4 点）
- 对话式推荐/搜索 Agent 评估：构建用户模拟器时，显式注入每轮交互意图（如澄清需求、修正误解、接受结果），可生成更真实的用户行为流，用于离线评测 Agent 的意图理解与响应能力。
- 训练数据增强：对于电商导购、搜索 query 改写等场景，可按指定意图（补充细节、否定前序推荐）批量生成对话样本，缓解多样性不足，降低人工标注成本。
- 意图-表达解耦设计：借鉴 UserIDA 将“意图选择”与“语言生成”分离的思路，在推荐对话系统内单独规划下一步交互目标，再调用 LLM 生成对应文本，提升多轮交互的连贯性与成功率。
- 强化学习校正技巧：在指令遵循类生成任务中，可采用 group-based RL，让意图违背的候选回复在奖励排名中低于合规项，以温和方式强化约束，避免直接惩罚导致生成质量下降。
ABSeeker：基于答案回溯的细粒度信用分配训练长期搜索代理
🧭 搜索代理训练 · 步骤级信用分配 ★ 深度解读
Shanghai Jiao Tong University
提出答案回溯的细粒度信用分配框架，为搜索代理的每一步提供密集步骤级监督，4B模型性能超越同规模甚至比肩30B模型。
📌 工作参考价值（4 点）
- 步骤级信用分配可迁移到多步检索/推荐系统：在电商多轮对话或深度搜索推荐中，轨迹稀疏奖励问题同样突出，可借鉴答案回溯方法，利用最终正确结果（如成交、满意答案）反向推导中间关键证据（如关键商品属性、比较点），为每一步对话或检索动作生成密集奖励，改善策略学习。
- SFT中奖励加权损失提升数据利用率：ABC-SFT通过sigmoid函数将步骤评分映射为损失权重，对高质量步骤加强学习，对错误步骤抑制信号，可推广到有过程标注的业务微调中，比如用规则或LLM为会话中的每个召回/排序动作打分后加权训练。
- RL中引入步骤级优势提升探索：ABC-GRPO的折扣步骤优势（γ=0.25）将未来步骤奖励合理传播，可应用于线上强化学习调优推荐策略，替代粗糙的结局奖励，让模型更精准地关联动作与最终收益。
- 线索锚定的评分模板工程化：使用预设的加分/扣分规则表（发现正确线索+0.8、错误排除-0.8等）对每一步进行结构化评分，易于在业务中复现，尤其适合约束明确、答案可验证的任务（如搜索词纠错、知识库问答）。
对抗求解器校准的终端任务生成系统CalibForge
🧭 Agent 训练数据合成 · 难度对抗校准
Renmin University of China · Independent Researcher · AweAI Team
通过对抗性多求解器校准生成难度适中的终端任务，显著提升agent训练效果与泛化能力
📌 工作参考价值（4 点）
- Agent 训练数据构建范式：用强弱求解器对比（Strong-Pass/Weak-Fail）定位“可学习难度区间”，过滤过难/过易样本，可直接用于电商 Agent 任务合成（如购物决策、客服问答）来提升数据效率。
- 多求解器对抗校准：利用异质求解器池的不一致性来生成训练信号，类似集成/分歧挖掘，可借鉴用于搜索推荐 Agent 的多模型协作场景，例如用不同规模模型筛选高信息量训练样本。
- 任务难度自适应生成：通过迭代对抗修订（adversarial revision），让任务难度贴合当前模型能力边界，该方法可复制到生成式广告文案评估、自动化测试等需要动态难度控制的 Agent 任务中。
- 跨任务泛化验证：在 Terminal-Bench、SWE-bench、Doc2Repo 上均大幅提升，说明校准后的训练数据增强了 Agent 的通用规划与推理能力，对构建电商领域跨场景的通用 Agent 有参考价值。
SFT冲突与RL共存：LLM多任务学习理论实证分析
🧭 多任务RL训练的解耦与并行化 ★ 深度解读
中国科学院自动化研究所 · 中国科学院大学 · 清华大学
多任务SFT导致性能崩溃，RL因梯度近似正交而共存，基于此提出Parallel-RL解耦并行训练
📌 工作参考价值（4 点）
- 多任务RL解耦训练：利用RL更新稀疏且近似正交，可对搜索/推荐的不同目标（如相关性、CTR、多样性）单独训练RL模型，再通过参数求和或平均合并，避免多阶段SFT带来的灾难性遗忘。
- 具体合并方法：先独立用GRPO训练各任务得到ΔW，合并时首选简单求和或平均；若存在干扰，采用TIES方法稀疏化合并，消除参数冲突；最后用少量混合数据（5%）快速适应，可进一步提升整体性能。
- 模块化能力注入：当需要向现有模型添加新能力（如新业务域）时，可对新任务进行RL微调，然后将ΔW合并入主模型，无需重训整个系统，且不影响原有任务表现。
- 训练范式选择指导：SFT更新范数大、任务间重叠高，不适合多阶段或并行训练；推荐系统中若需微调LLM，应优先使用RL，并在多任务设定下避免多阶段SFT，以保持旧任务性能。
Wnuan：面向企业专有知识的分阶段后训练问答系统
🧭 后训练 · 领域适应 ★ 深度解读
Beijing Academy of Artificial Intelligence (BAAI) · Beijing District Heating Group Co., Ltd. (BDHG) · Beijing University of Posts and Telecommunications (BUPT)
三阶段后训练流程将企业 QA 可接受率从 52.76% 提升至 91.51%，其中残差错误采样 RL 显著优于全量采样
📌 工作参考价值（4 点）
- 残差错误采样策略：RL 微调阶段优先选择 SFT 后仍答错的样本进行 GRPO，在固定更新预算下比全量采样或等量随机采样 AAR 提升约 3 个百分点，可用于对话式推荐或智能客服的错误修正优先级设定。
- 通用数据混练抑制能力退化：在领域 SFT 中混入 48.3% 通用数据，以通用 benchmark 平均分最高为选择准则，牺牲少量领域精度换来指令跟随等通用能力的较好保持，对平衡业务专训与通用能力有直接参考。
- 文档到 QA 的自动化构造：将非结构化企业文档（如操作手册、技术标准）自动转化为自包含问答对，并经过规则、忠实度等多轮筛选，可用于从商品描述、活动规则等生成训练样本。
- 多模型集成评估 + 人工校准：采用两主评委加分歧时第三模型投票的集成判分，并用领域专家校准 90.5% 的一致性（Cohen's κ=0.796），适合低成本构建可靠的业务离线评估体系。
课程对齐知识图谱 K12-KGraph 用于教育LLM评测与训练
🧭 教育LLM课程认知评估与图引导训练
Peking University · Institute for Advanced Algorithms Research, Shanghai · OriginHub Technology · Zhongguancun Academy
构建课程知识图谱并衍生多任务基准，暴露大模型在前提推理等课程认知上的短板，并以图引导数据高效微调
📌 工作参考价值（4 点）
- 在电商知识图谱上复制多任务QA生成：借鉴从领域KG自动衍生Ground/Prereq/Neighbor等任务模板的方式，为电商商品搭配、选购意图、类目归属等场景快速构建大规模评测集，低成本评估模型对商品结构化关系的认知。
- 构建商品认知微调数据：参考K12-Train的图引导监督微调数据生成流程（将节点与关系转为自然语言QA，包括纯文本与多模态图文对），用商品知识图谱合成训练样本，提升LLM在导购、属性问答、搭配推荐解释上的表现。
- 领域特定SFT数据效率极高：实验证明，在相同样本量下，结构清晰的领域SFT数据（K12-Train-Text）碾压等量的通用SFT语料，说明用少量高质量的领域知识图谱衍生数据即可获得明显收益，电商场景可效仿。
- 多模态互补的设计：论文发现文本与视觉监督互补，单独任一都不如联合训练好；在产品搜索推荐中，可同时使用物品图片与结构化文本描述进行对齐训练，增强模型对视觉特征与商品属性的整合能力。
NexForge：通过需求驱动任务合成扩展 LLM 智能体能力
🧭 需求驱动的 Agent 训练数据合成
East China Normal University · Fudan University · Shanghai Qiji Zhifeng Co., Ltd
提出需求驱动的任务合成框架 NexForge，自动生成多样化可执行 agent 训练数据，显著提升 LLM agent 性能
📌 工作参考价值（4 点）
- 借鉴需求驱动思想，根据业务能力需求（如“自动处理退换货”“批量更新商品库存”）自动生成多样化的终端/办公任务，用于微调内部 Agent 模型，降低人工构造成本
- 采用分布感知编译（基于真实需求日志构建情景和任务概况），使训练数据分布更贴近线上实际，减少偏差，可应用于电商搜索广告 Agent 的训练数据生成
- 框架不依赖领域特定基建，可快速跨场景迁移，例如从终端操作扩展到电商后台、广告投放工具等新工具领域，降低工程门槛
- 利用合成的高质量专家轨迹进行 SFT，验证了数据规模和多样性对提升 Agent 任务成功率的重要性，启示我们可通过自动化管线持续扩展 Agent 能力边界
误导图表问答的双路径Agent框架
🧭 Agent 双路径图表问答框架
HKUST · HKUST(GZ)
提出ChartCynics双路径Agent框架，通过视觉诊断与OCR数据验证解耦，大幅提升小模型对误导图表的鲁棒QA性能
📌 工作参考价值（4 点）
- 双路径解耦验证范式可迁移至电商多模态审核：商品图文一致性检查、广告素材合规判定等任务中，可构建类似“视觉异常检测路径 + OCR文本抽取路径”，由Agent Summarizer进行冲突裁决，提高对欺骗性描述的鲁棒性。
- Oracle蒸馏 + 对抗对齐训练方法：在推荐系统对抗恶意行为（如虚假评论、刷单）时，可用Oracle-Informed SFT蒸馏出批判性推理链，再通过Deception-Aware GRPO进行对抗式强化学习，让模型学会识别操纵模式。
- 小模型 + Agent工作流超越闭源大模型：电商搜索推荐场景资源受限时，可将大模型能力拆解为多个专家子路径，通过Agent编排让开源小模型在多模态推理任务上达到甚至超过GPT-4V等专有模型，性价比更高。
- 可借鉴的ROI策略与多证据整合：推荐系统中处理商品主图、详情图等多图像信息时，可引入战略性的ROI裁剪聚焦关键区域，结合文本证据进行最终判断，避免全局视觉偏见。
CanvasAgent：通过视觉工具编排实现复杂图像创建与编辑
🧭 多模态代理 · 视觉工具编排
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)
提出数据集 CanvasCraft 与多模态代理 CanvasAgent，通过 SFT+GRPO 训练，实现多工具协同的复杂图像编辑工作流
📌 工作参考价值（4 点）
- 电商商品图复杂编辑（多步骤生成、分割、文字叠加、增强）可借鉴多工具代理编排思路，将现有图像模型封装为工具，由 LLM 代理按需调用，实现自动化工作流。
- CanvasCraft 数据构建方式：自动合成多步编辑轨迹（生成→定位→分割→替换→融合），可迁移至构建商品图像处理指令数据集，用于训练客服或运营代理。
- SFT+GRPO 两阶段训练范式与混合奖励（结果质量+过程合理性）可用于推荐或搜索代理的多步决策优化，提升轨迹合理性与最终效果。
- 代理在 rollout 中实时检查中间图像状态并动态修正工具选择，该闭环反馈机制可启发构建商品推荐可视化解释代理，按中间反馈调整推荐策略。
KG2Cypher: 从企业知识图谱自动构建文本到Cypher系统的数据驱动流水线
🧭 Text-to-Cypher数据合成与模型微调
Sungkyunkwan University · NAVER
利用图谱事实反向生成训练数据，结合候选感知SFT与LoRA高效微调，大幅提升企业级Text-to-Cypher执行准确率
📌 工作参考价值（4 点）
- 合成训练数据：从结构化知识图谱反向生成自然语言查询，可用于商品知识图谱的NL2Query数据增强，低成本构建搜索意图理解训练集。
- 候选感知SFT格式：在输入中加入召回实体列表，提高实体链接准确率，适合需要实体链接的对话式推荐或结构化查询场景。
- 类条件schema提示：按查询类别动态选择相关schema片段，减少prompt长度和噪声，提升多任务查询生成的推理效率和准确率。
- LoRA微调：低成本适配领域专用模型，可在有限标注下快速提升Text-to-SQL/Cypher能力，适用于电商内部分析工具或Agent的图查询模块。
从推理轨迹到可复用模块：理解语言模型推理中的组合泛化
🧭 训练与推理中的模块化组合泛化
Carnegie Mellon University · Mohamed bin Zayed University of Artificial Intelligence · Institute of Foundation Models · University of Michigan
揭示SFT与RL在LLM推理中非对称互补：SFT提供模块原料，RL分解轨迹提取原子模块实现组合泛化
📌 工作参考价值（4 点）
- 训练范式迁移：在构建推荐/搜索Agent时，可先通过SFT用组合轨迹（如查询改写→检索→排序的完整链）覆盖所有原子技能，保证基础能力；再用RL重点训练SFT未见过的技能组合，提升泛化性。
- 数据构建策略：训练数据应避免只给孤立原子操作（如单独改写或单独排序），而应提供复合任务示例，实验证明复合训练比分离训练带来更强的组合泛化。
- RL Fine-tuning 设计：RL阶段将奖励信号聚焦于新颖组合，鼓励模型探索原子模块的不同路由方式，可有效提升在未见过的搜索场景或用户意图下的表现。
- 模块化推理架构：在Agent工作流中可显式抽象出“技能（局部操作）”和“路由（信息选择与组合）”两级原子模块，便于模型复用和重组，降低新任务开发成本。
后训练如何塑造生物推理模型
🧭 多阶段后训练与泛化权衡分析
Harvard University · Google DeepMind · Google Research
系统分析CPT、SFT、RL对生物推理模型泛化的不同影响，表明ID/OOD权衡取决于阶段组合而非单调提升
📌 工作参考价值（4 点）
- SFT 过拟合警告：SFT 持续提升分布内 (ID) 效果，但分布外 (OOD) 性能会在早期达到峰值后下降。推荐系统微调时需监控 OOD 指标，避免过度适配训练用户/物品分布。
- RL 恢复泛化：在强 SFT 检查点上加 RL（奖励信号与任务对齐）可提升 OOD 并部分恢复泛化。对电商搜索/推荐中的个性化与冷启矛盾，可设计 RL 阶段来对冲过拟合。
- 训练预算分配：固定总训练成本下，短 SFT + 大 RL 预算的 ID-OOD 权衡最佳。实际落地时，可优先保证 SFT 收敛早期即切换 RL，而非一味延长 SFT。
- 阶段非对称适配：不同阶段对模型容量要求不同，CPT 受益于大模型，而 SFT/RL 增益更依赖质量。在大模型推荐系统中，可先 CPT 对齐领域语言，然后用少量高质量 SFT 和充足 RL 调优。
S1-DeepResearch：超越搜索，构建真实世界长程研究智能体
🧭 深度研究智能体 · 多能力轨迹合成 ★ 深度解读
XScience Lab · Wenge AI
提出统一轨迹构建范式，结合图任务生成、工具执行与多维验证，使32B模型在深度研究五项能力上达开源SOTA并逼近闭源前沿。
📌 工作参考价值（4 点）
- 图基础复杂任务生成：利用知识图谱子图加注入多维约束（来源、论证、输出格式等）生成电商领域复杂查询（如竞品深度分析、市场趋势报告），训练 Agent 进行多步推理和可验证的报告生成，避免依赖参数记忆。
- 平衡搜索与合成：轨迹显示，深度研究成功的关键不是更多工具调用，而是适时停止搜索并将信息整合为结构化输出。在电商智能客服、选品分析中可借鉴，设定“证据充分性”判断机制，防止无休止检索。
- 多维度轨迹验证：针对报告生成引入引用一致性、证据支持度自动核查，对电商中商品描述生成、分析报告等场景可确保事实准确，减少幻觉。指令遵循的九维约束检查器可用于复杂用户意图的精准解析。
- 技能使用与文件生成：Agent 在沙盒中动态加载技能文档并执行脚本、生成文件（如报表、图表），可直接迁移到自动生成运营分析报告、可视化物料等任务，提升工具链的通用性。
IS-CoT：通过交错结构思维打破长文本生成崩溃
🧭 长文本生成 · 动态规划与反思 ★ 深度解读
Soochow University · PLA Academy of Military Science
提出交错式Plan-Write-Reflect循环，让8B模型在长文本生成上超越大模型，打破长度崩溃。
📌 工作参考价值（4 点）
- 在生成长文本（如商品详情、营销软文）时，可采用 Plan-Write-Reflect 循环：每写一段后反思当前进度并调整后续计划，避免偏离主题或长度失控。
- 对于多步对话 Agent（如导购助手），可借鉴全局大纲+局部规划+反思的结构，让模型在长对话中维持目标一致性，防止上下文遗忘。
- 训练时保留完整的推理链（计划、反思 token），通过 SFT 直接让模型学习动态规划，小模型也能获得强长度控制与连贯性，适合低资源业务定制。
- 多教师蒸馏的设计可提升数据多样性，避免生成风格单一，对构建特定领域（如电商）的高质量“带思考过程”数据集有直接参考价值。
SearchSwarm：训练长程深度搜索 Agent 的委托智能
🧭 Agent 长程任务委托与上下文管理 ★ 深度解读
Ant Group · Tsinghua University · Peking University · Renmin University of China
通过 harness 引导主 Agent 分解并委托子任务，再用 SFT 内化委托行为，在 30B 规模实现长程搜索 SOTA
📌 工作参考价值（4 点）
- Harness 设计可直接迁移到电商多 Agent 场景：主 Agent 负责商品调研、竞品分析等长程任务时，借鉴「写简报必须含任务背景、已确认事实、未解决疑点」的原则，让子 Agent 有足够上下文产出高质量结果，减少主 Agent 令牌消耗和重复探索。
- SFT 数据合成策略：利用强模型当主 Agent 搭配弱模型当子 Agent 收集轨迹，迫使主模型学会更严谨的任务分解与结果验证，可用于训练电商客服、供应链优化等场景中的协调 Agent。
- 委托能力泛化证明单 Agent 推理也能受益：即使去掉子调用工具，训练后的模型在单 Agent 任务上表现仍有提升，说明通过多 Agent 轨迹 SFT 可增强模型的结构化问题分解能力，适用于推荐系统复杂查询的逐步推理。
- 强制引用报告可提升溯源可信度：要求子 Agent 报告附带行内引用，主 Agent 最终回答也需附来源，这对电商商品推荐、信息核查等需要可解释输出场景有直接借鉴意义；实现方式是在 prompt 中约束输出格式并以此过滤训练数据。
架构敏感监督微调用于屏幕条件动作预测：PiSAR 基准
🧭 屏幕条件动作预测 · 架构敏感微调
AprioriLabs
微调 Qwen3-VL-8B 在屏幕动作预测上语义相似度 0.783，远超零样本前沿模型，并暴露微调效果对模型架构高度敏感。
📌 工作参考价值（4 点）
- 任务特定微调远胜零样本大模型：在屏幕行为预测这类高度领域特定的任务上，即使前沿视觉语言模型（Claude/GPT）的零样本表现也远不及单一 LoRA 微调的小模型。对于电商界面优化、Agent 动作规划等场景，必须用自己的领域数据做微调，不能依赖通用大模型的零样本能力。
- 基座模型选择是关键：相同数据和微调方法在 Qwen3-VL-8B 上达到 0.783，而在 Gemma-4-26B 上仅 0.441，差距巨大。在落地时，应优先在小规模、非推理调优的视觉模型上尝试微调；推理调优后的大模型抵抗微调信号，可能需要更多数据或更强的微调方法（如更深的参数干预）。
- 轻量级模型可实现低延迟部署：8B 微调模型达到亚秒级调用延迟，适合实时动作预测。在需要根据当前屏幕状态快速决策的场景（如智能客服指引、购物车优化）可直接采用。
- 数据构建方法论可借鉴：PiSAR 数据集由用户评价、人口统计和购物行为轨迹编织而成，为构建屏幕-行为-意图对齐数据提供了可复用的工程模板。
LiteCoder-Terminal：长时终端Agent的零依赖环境合成与训练
🧭 终端Agent训练 · 零依赖环境合成与SFT/DMPO ★ 深度解读
Institute of Software, Chinese Academy of Sciences · University of Chinese Academy of Sciences
提出零依赖合成框架，自主生成可执行终端环境与专家轨迹，训练出的Agent大幅超越基座模型
📌 工作参考价值（4 点）
- 领域驱动的任务合成：利用Magpie-style高温采样，仅从领域描述自动生成大量任务，无需外部数据源，适合快速为电商客服、导购等Agent场景定制训练任务池。
- 多阶段因果环境构建管线：指令精炼→环境素材化→参考解→对抗式验证器→资源配置，每一步基于前置执行轨迹确保一致性，可直接复用于搭建电商交易模拟或推荐系统仿真环境，避免人工构造的漂移与错误。
- DMPO多轮偏好优化：使用合成环境自带的自动验证器作为奖励信号，对长程Agent轨迹进行偏好学习，提升复杂任务表现；电商场景中的多轮对话式推荐Agent可借鉴此思路，利用可自动校验的虚拟用户行为进行RL训练。
- 能力短板定向弥补：零依赖架构天然支持按需合成特定领域训练数据，当电商Agent在售后纠纷、订单修改等弱项上表现不足时，可针对性地生成相关任务轨迹，数据效率高（本文仅用11K轨迹即逼近50万条轨迹方法的性能）。
后训练关键在状态分布而非Token：SFT、RL与在线蒸馏的状态视角
🧭 LLM后训练状态分布视角 ★ 深度解读
提出状态分布视角统一SFT、RL和在线蒸馏，实验显示学生可超越退化教师且on-policy方法更稳定
📌 工作参考价值（4 点）
- 用状态源/信号源拆解训练策略：将推荐Agent的训练明确分为“状态采自哪里”和“监督信号从哪里来”。离线数据（如用户历史日志）提供固定状态，但Agent部署后可能遇到未覆盖的状态分布，借鉴on-policy采样（RL或在线蒸馏）能减轻分布不匹配造成的性能退化。
- 在线蒸馏时让学生控制状态分布：在电商场景中，Teacher模型可能在某些上下文（如长对话或冷门商品）表现差，但局部Token预测仍可用。让学生Agent在自身状态上请求教师指导（如生成短续写），类似DAgger，可以保留教师局部能力的同时避免复制教师的全局错误轨迹，实现学生超越教师。
- 避免单纯用标量漂移判断遗忘：业务监控时，不要仅靠rollout状态的MMD等单一距离指标下结论。论文显示，两个模型可能有相近的全局状态漂移但遗忘程度迥异。应结合状态来源分析——是在模型自身可达状态上做更新（如RL/OPD），还是在与模型当前策略偏离的固定状态上做密集离线更新（如stress SFT）。
- 轻量在线RL可作为能力保留手段：在追求目标指标提升时，可以先跑一轮温和SFT注入基础能力，再用在线RL（如带分组相对奖励的GRPO）在模型自身轨迹上小步优化，既能提升主任务，又可抑制遗忘。对电商搜索排序或对话Agent，可设定简单的验证性奖励（如用户点击、转化），用on-policy采样来微调，保持通用知识不退化。
ACC：面向长上下文训练的Agent轨迹编译
🧭 长上下文训练 · Agent轨迹编译 ★ 深度解读
University of Science and Technology of China · Shanghai Innovation Institute · Shanghai AI Laboratory
将多轮agent轨迹编译为长上下文QA对，无需额外标注，在长程依赖建模上媲美8倍参数模型
📌 工作参考价值（4 点）
- 直接复用业务中已有的agent交互日志（如电商智能客服多轮对话、数据库查询、代码调试等），将其组装为长上下文训练数据，无需额外标注，低成本提升模型多跳推理和信息整合能力。
- 在生成式推荐或搜索中，可将用户与推荐系统的多轮交互（查询、候选列表、点击/购买行为等）编译为长上下文，让模型直接基于长历史序列生成最终推荐，替代逐步候选筛选流程。
- 训练时加入不相关的干扰项（如未点击的商品、未使用的搜索结果）并随机打乱顺序，能增强模型在长上下文中定位关键信息的能力，可迁移至电商场景下处理杂乱的浏览历史。
- 完全基于标准SFT，无需复杂强化学习，工程实现简单，适合快速实验和部署。
InfoSFT：信息感知的令牌加权，学得更多，忘得更少
🧭 Training ★ 深度解读
University of Pennsylvania · University of Southern California
提出基于模型置信度的令牌加权规则，为中等置信度令牌分配最高权重，提升泛化并减轻灾难性遗忘