马拉松者：超长程自主智能体
🧭 超长程自主编码 Agent 后训练 ★ 深度解读
University of Macau · Peking University · Ant Group
从 GitHub PR 自动合成任务、拒绝采样蒸馏与 GRPO+后期奖励，让 9B 开源模型具备 10+ 小时执行能力
📌 工作参考价值（4 点）
- 任务数据合成：从业务系统（推荐服务代码库、数据管道、广告投放平台）的 commit/PR 自动构造带单元测试验证的长程 Agent 任务；电商搜索推荐团队可基于历史工单、A/B 实验变更生成环境+指令+验收测试三元组，低成本扩充训练数据。
- 后期阶段奖励：在对话式推荐/导购 Agent 中用 LLM 判断会话后半段是否有高价值动作（如用户改变偏好后的有效重新推荐、复杂比价后的正确总结），给予额外奖励，防止模型在长交互中过早收尾或重复无效询问。
- 多样 harness 训练避免过拟合：针对 Agent 可能接入的不同执行环境（推荐 API、页面布局、工具集），在 RL 训练时轮换多种 harness，可提高跨场景泛化，与多环境交互评分/模拟器训练思路一致。
- 拒绝采样蒸馏：先用闭源大模型在真实任务上生成成功轨迹，仅保留 reward=1 样本对开源小模型做 SFT 初始化，再进入 RL 微调；适用于电商客服、导购 Agent 等需要长程规划的场景，降低对高质量标注轨迹的依赖。
On-Policy 与 Off-Policy 学习：蒸馏动力学的系统研究
🧭 蒸馏训练策略对比 ★ 深度解读
University of Cambridge
在强到弱蒸馏中解耦 rollout 策略、KL 方向和 learning rate，发现 on-policy 无一致优势，forward KL 更鲁棒，learning rate 主导遗忘与稀疏性
📌 工作参考价值（4 点）
- 在构建领域 LLM 蒸馏流水线（如将大模型蒸馏到线上小模型用于 query 理解或文案生成）时，优先使用 forward KL + off-policy 数据：成本低且对 rollout 策略鲁棒，不必频繁生成 on-policy 样本。
- 控制 learning rate 是平衡效果与灾难性遗忘的关键旋钮；如果微调后通用能力下降，先调低 learning rate，而不是转向 on-policy 采样。
- 如果需要提升模型对更难任务（如从简单商品描述生成到复杂营销文案）的泛化，可适量引入 on-policy 数据，但注意后续若接 RLVR，该优势可能消失。
- 若要抑制教师模型的风格/偏见迁移（如避免推荐文案出现不符合品牌调性的表达），可考虑 on-policy rollouts + reverse KL 组合。
Org-Agent：组织级多用户智能体的约束中心推理框架
🧭 组织级多用户 Agent 约束感知调度 ★ 深度解读
The Department of Computing, The Hong Kong Polytechnic University, Hong Kong SAR
提出约束中心的组织级智能体框架，用任务依赖图加约束感知工具同时提升跨用户决策与记忆利用
📌 工作参考价值（4 点）
- 多角色协作工作流：把运营、风控、商品等多方请求拆成原子子任务并构造 Task Dependency Graph，拓扑排序后先解决依赖（如先取库存/风控结论再出促销方案），可避免 LLM 一次性处理全部上下文时的遗漏与冲突。
- 显式建模组织约束：将用户身份、权限、信息归因、时效、冲突解决规则做成节点属性或元数据过滤条件，执行时按 asker 身份过滤记录（如 author=UserID + phase），能显著降低越权泄露和错误归因，适合客服/审批类 Agent。
- 证据获取工具三件套：相似度评分（lexical+semantic，α=0.5 平衡）+ 条件过滤 + 关系遍历（reply/decision 边），比纯 RAG 或全量建图更准且成本更低；多轮对话、售后记录、团队消息流检索可直接复用。
- 执行记忆 Read/Write：把前置节点结果写进 structured records/running summary，下一节点组装上下文时读取；在选品→定价→投放等长链路推荐 Agent 中维护执行记忆，可减少重复检索和上下文丢失。
RecSys 2026 挑战赛：对话式音乐推荐系统设计与分析
🧭 对话式推荐 · 检索-重排-生成 ★ 深度解读
Sony Group Corporation · SiriusXM · Deezer Research · Amazon · Politecnico di Bari
系统分析16套检索-重排-生成方案，总结多源召回、意图检测与多轮上下文建模等可复用设计原则
📌 工作参考价值（4 点）
- 多源召回 + 保留 per-source rank/score/presence 给 LightGBM/XGBoost 做 reranker，比过早融合 union 或只用 RRF 更有效；没有训练预算时 weighted RRF 仍是强候选池构造器。
- 冷启动：默认用对话与 item 信号（当前消息、已观察 track、artist/album 扩展、co-occurrence/transition），把 user profile/CF 当作可选分支；上线缺失画像时先 mask profile 验证性能。
- 意图检测：不要恢复完整 hidden goal taxonomy，只做高精度、可 abstain 的窄意图检测器（如 exact request、continuation vs discovery），用它 gate 特定排序动作；少量规则+正则即可。
- 多轮上下文：不要只对当前 query 检索，构建 literal view + full-dialogue view，保留历史 track/item 作为 evidence；响应生成拆开 ranking 和 prose，先定 top-k 再用可验证 metadata 写回复，防止模型改排序。
RenderRank：用压缩视觉 Token 学习文本重排序
🧭 文档重排序 · 视觉 token 压缩 ★ 深度解读
Korea University · Sookmyung Women's University
将文档渲染成图像并以压缩视觉 token 表示，在重排序中减少 16.5–35.5% 输入 token 且保持或提升 NDCG@10。
📌 工作参考价值（4 点）
- 对电商搜索/广告里的长文本（商品详情、用户评论、广告落地页）可离线渲染成图像并用 VLM 视觉编码器产出压缩 token 缓存；在线 rerank 只输入 query token + 文档视觉 token，候选集越大、文档越长，单候选打分成本节省越明显。
- 两阶段训练可直接复用：先用已有文本 reranker 做教师，在 score 级别做 MSE 蒸馏，让压缩/视觉表示对齐文本分数；再用 query-local InfoNCE 对比同一 query 下正负文档。不需要 token 级对齐，且冻结视觉编码器、只对语言 decoder 做 LoRA，训练成本低。
- 渲染参数（font size、行距、DPI、图像宽度）是成本/质量旋钮：10pt→14pt 的 NDCG 只提升约 0.8 个百分点，但 token 增加约 57%、吞吐下降约 33%；业务上可先做 QA/摘要小实验选性价比点，论文的 12pt + 行距 1.0 是较稳默认值。
- 工程上必须把文档视觉编码离线化并缓存：论文中不带缓存时吞吐从 76.83 PPS 掉到 37.31 PPS。若业务已有商品图/多模态特征，可考虑直接复用视觉 embedding，进一步省掉渲染与编码成本。
ReSPO：重塑序列策略优化以应对离线策略学习梯度饥饿
🧭 RLVR 离线策略训练优化
Department of Computer Science, University of California, Los Angeles
提出 ReSPO，用平滑两分支序列级核替换裁剪，修正重要性权重尾部梯度饥饿，加速 RLVR 训练
📌 工作参考价值（4 点）
- 若在 RLVR 训练中复用 rollout 且使用 GRPO/GSPO 时，模型难以学到低频但高奖励的长轨迹（如多步 Agent 决策、长链推荐理由生成），可替换为 ReSPO 的平滑序列级核：正分支保留低重要性权重正样本的非零梯度，负分支抑制高权重负样本，避免梯度饥饿。
- 对 LLM 生成搜索 query、广告文案或推荐解释的强化学习微调，在 reward 稀疏、正样本稀缺场景下，ReSPO 正分支能加速早期优化，比传统 clipping 更友好。
- 工程实现上，ReSPO 核是序列重要性比 W=πθ(o|q)/πold(o|q) 的函数，可与现有 GRPO/GSPO 代码低耦合替换；只需缓存 old policy 的 rollout 来计算比率，复用现有离线数据流即可。
- 论文在 dense 和 MoE Qwen3 上验证有效，对工业级大规模模型与 MoE 架构有迁移参考价值，但需注意业务 reward 信号若噪声较大，仍需配合 variance-control tilt 稳定训练。
学习转向，转向以见：用可训练向量揭示RLVR在LLM中的几何结构
🧭 RLVR 激活几何与训练稳定化
USTC · Tencent Hunyuan · BUPT
发现RLVR有效控制方向位于激活主子空间低方差补集，并提出Alpha-Stabler稳定训练提升RL增益
📌 工作参考价值（4 点）
- RLVR 微调 LLM（如电商搜索/推荐中的 Agent 策略模型）时，可监控激活的主子空间入侵程度来预警训练崩溃，提前止损，节省算力。
- 在反向传播中移除激活梯度在主子空间的分量、保留低方差补集分量，可作为通用训练稳定化 trick，与现有 RLHF/RLVR 流程兼容，尤其适合长步训练。
- 低维有效流形存在但不可无限压缩，提示在低秩适配（LoRA）或资源受限场景下，需平衡干预维度与输入依赖表达性；对在线持续微调有参考价值。
- 跨任务几何对齐与能力迁移相关，可用于评估不同业务任务（查询改写、推荐策略、Agent 决策）之间的迁移潜力，指导多任务训练设计。
知道何时思考不够：教小推理模型超越参数知识进行推理
🧭 小模型推理 · 选择性外部查询 ★ 深度解读
KAIST · DeepAuto.ai
区分执行瓶颈与知识瓶颈，训练小模型只在知识瓶颈时查询强模型，4B 超越 14B 且成本低 2.7 倍
📌 工作参考价值（4 点）
- 区分内部执行瓶颈与外部知识瓶颈：在 LLM 驱动的搜索/推荐 Agent 中，当模型反复反思但答案不变、或继续生成也拿不到正确结果时，不要只加长推理；可监控中间状态的成功率/答案熵，识别知识缺口并触发商品知识库、检索或更强模型。
- 把强模型封装成多深度查询工具：让策略学习是否问、问什么、用哪个成本档，比固定检索或开场就查更省；外部模型只接收子查询而不看完整问题，避免答案委派和泄露。
- 两阶段训练可落地：先用 SFT 合成“救援轨迹”教会小模型调用工具，再用 cost-aware GRPO 校准查询时机和深度；仅对成功轨迹惩罚成本，能学到多轮廉价查询，接近深后端性能、接近浅后端成本。
- 经济性设计值得借鉴：在电商导购、政策问答等知识密集场景，可复用其 pass@k 与单位成本曲线评估，通过 GPU/API 价格扫描验证成本优势的稳健性。
自适应循环 Transformer 提升测试时扩展效率
🧭 自适应循环 Transformer 的测试时缩放
Tsinghua University · Yale University
提出 TaH2 自适应循环 Transformer，通过前瞻深度监督让模型仅对收益 token 增加迭代，测试时计算斜率提升 53%
📌 工作参考价值（4 点）
- 在 LLM 推理服务中（如搜索 query 改写、商品卖点生成、推荐理由），可采用 TaH2 的自适应计算思路：训练一个轻量 iteration decider，对简单 token 少迭代、困难 token 多迭代，同等精度下可显著降低 decode FLOPs，适合降低电商场景的推理成本与延迟。
- lookahead depth supervision 的在线标签方法可迁移到动态路由/级联模型：判断“继续计算是否能提升预测”来训练 router，例如 MoE 中选择专家数、广告出价/策略分析中的多步推理是否继续，避免固定深度浪费。
- 该后训练方案不改变 backbone 结构，只加轻量 decider 并进行联合微调，适合对已部署的 7B/13B 模型做后训练优化，快速验证收益；对需要高精度推理的任务（如商品属性逻辑校验、A/B 分析）尤其值得尝试。
- 结论提示：全局固定深度 loop 在最大深度增加时会饱和，而自适应分配能让增益持续增长；在 Agent 多步推理中，可以按 token 难度动态分配思考步数，减少低效 rollout 的算力消耗。
ANTMAN：大信息空间多智能体导航的自适应需求追踪
🧭 多智能体协作 · 需求图驱动 ★ 深度解读
University of Illinois Urbana-Champaign
用可修订的未解决需求图替代静态分区，使多智能体协调随查询需求而非信息空间规模增长
📌 工作参考价值（4 点）
- 在电商搜索/推荐中，把用户 query 或会话意图建模为可修订需求图（如类目偏好、属性约束、缺失证据、候选商品集），用该图动态调度召回、排序、解释或 Agent 调用；避免按商品池/内容池大小固定切分 worker，使计算随需求复杂度而非目录规模增长。
- 借鉴 territory + WorkerCard + 两阶段路由：将商品库/内容库/代码库等 substrate 静态划分为 scope-specialized 的 territory，先用轻量检索（稀疏+精确+稠密+RRF）召回少量 WorkerCard，再由 orchestrator 决定是否派遣；比所有 agent 全量参与更省 token，且可跨业务 substrate 复用。
- 每个需求节点显式记录 evidence、attempts、progress，当某条寻证/检索路径 stalled 时，优先做局部 reframe/reroute/fallback，而不是重新规划整个查询；在电商 Agent 场景可减少长流程失败后的整体重试代价。
- 需求驱动的局部搜索规避了超长商品列表/长上下文 prompt 里 lost in the middle 问题；在 push/推荐理由生成或大候选集重排时，可采用类似按需分段检索策略。成本敏感场景还可用小模型做 worker 执行（ANTMAN-H 用 8B worker 保留超过 89% 性能），保留 orchestrator 用大模型。
超越时间戳：面向长程智能体的决策对齐在线策略蒸馏
🧭 长程 Agent 决策对齐的在线自蒸馏 ★ 深度解读
Beihang University · Tsinghua University
提出 ALIGNOPSD，用跨 rollout 决策对齐修正特权监督并用可变决策片段分配 credit，长程 Agent RL 提升 5.5–8.7%
📌 工作参考价值（4 点）
- 在电商导购/搜索式推荐 Agent 的 RLVR 训练中，若用带特权信息的 teacher policy 做 dense 监督，不要按 turn index 对齐 teacher/student；用 thinking trace 的 frozen embedding 余弦做跨 rollout soft matching，再 teacher-force 同一 response，可避免时间戳错配污染 credit。
- 把一次输出作为 credit 最小单位太粗、token 太细；用相邻 turn 的 correspondence profile 的 JSD 变化自动切分决策片段，再在 span 内按证据分配 advantage，更适合“同一个决策跨多轮”的场景（如搜索→点商品→比价→加购中“比价”持续多轮）。
- 优势分配时用 stop-gradient 的权重乘到 group-normalized advantage，不引入额外 distillation loss；KL 正则约束 span/turn 分配不偏离均匀 token measure，训练更稳定。
- 超参默认值：credit temperature T=0.5 跨任务和模型尺度较稳定；thinking similarity threshold 0.7–0.8 较稳；top-K 需按任务调，长轨迹可稍大，短轨迹需更小。
从扰动公开文档合成训练数据提升大模型上下文学习能力
🧭 LLM 合成数据与上下文学习训练
AllSpark Team
用少量扰动公开文档合成10k上下文推理样本，将35B模型CL-bench从13.7%提升至24.6%，媲美万亿参数模型
📌 工作参考价值（4 点）
- 用于电商知识库/RAG 助手训练：把产品说明、活动规则、广告政策等内部文档做同义改写/扰动，再生成需逐段推理的问答，只保留“去掉文档就答不对”的样本，可低成本造出强迫模型依赖上下文而不是记忆的数据。
- 两阶段训练：SFT 提升基础上下文跟随，再接 rubric-reward RL 用评分准则作奖励，在少量数据（10k）下把小参数 MoE 模型拉到接近大模型；适合业务中无法大规模标注的场景。
- 过滤机制可复用：用改写前后答案变化、引用证据检查等方法自动筛选高质量上下文依赖样本，避免合成数据里混入可通过参数知识回答的“伪上下文”样本；对长商品描述、多轮 Agent 工具结果等场景尤其有价值。
- 观察到的迁移：改进集中在长上下文理解、指令遵循和推理，对代码和知识影响小。如果业务目标是让模型在复杂上下文里做推荐决策/政策合规，可比通用知识注入更精准。
声明式多智能体编排的数据视频生成系统
🧭 多智能体编排 · 声明式生成 · 数据视频
DataMagic 用 DVSpec 声明式规范统一图表、叙述与动画，通过生成后编排多智能体策略高效生成数据视频
📌 工作参考价值（3 点）
- 声明式规范 DVSpec 用数据绑定引用和声明式同步统一表示多模态组件（图表、叙述、动画），保证数据溯源与自动对齐，可借鉴到电商推荐理由/商品文案生成：定义统一 schema 绑定商品属性、卖点文案和展示节奏，避免 LLM 自由生成导致信息偏差。
- “Generate-then-Orchestrate” 策略：并行生成多个候选场景，再全局编排优化叙事连贯性，可用于商品短视频脚本或详情页卖点生成：先并行生成多个卖点片段，再根据用户画像和上下文做全局排序与裁剪，提升生成效率与内容质量。
- 多智能体共享状态（DVSpec）支持全自动与人工精细控制三种交互模式，适合 Agent 辅助的广告创意生产：LLM 生成初始草稿后，人类通过修改声明式规范局部调整，系统自动重新对齐其余部分，大幅降低人工修改成本。
Skill2Env：面向通用智能体的基于技能与能力导向的环境合成
🧭 Agent 训练环境合成 · 能力导向 ★ 深度解读
AllSpark Team
以技能为种子、能力需求为引导，通过难度模式与任务蓝图合成可执行环境，并用迭代硬化提升训练监督质量。
📌 工作参考价值（4 点）
- 技能驱动的环境合成可迁移到电商导购/客服 Agent 的训练数据生产：把商品知识库、退换货 SOP、比价工具封装为 skills，按能力需求（环境理解、规划、工具使用、长程一致性、错误恢复）自动生成多步交互任务和沙盒环境，解决真实交互数据稀缺。
- “任务蓝图”作为作者侧契约值得借鉴：生成指令/评测数据时显式分离 instruction、environment facts、information boundary 和 acceptance criteria，避免关键信息泄漏进 prompt，同时为 rubric 打分提供可追溯依据。
- Iterative Task Hardening 的课程式加难机制可复用到 Agent 训练/评测集：用 solver rollout 的满分率、交互轮数等执行证据定位“太简单”任务，再通过加 pattern 强度（如分布式证据、schema mismatch、partial failures）逐步提升难度，比重新采样更高效。
- Rubric 评估混合确定性检查和 LLM judge，并为每个 rubric item 记录证据；电商 Agent 自动评测建议采用这种“可程序化项用规则、开放项用模型、结果附证据”的打分方式。
TraceDance：从真实部署轨迹自动构建Agent行为基准
🧭 Agent行为基准自动构建
ByteDance Inc. · University of Illinois at Chicago
自动从真实Agent部署轨迹构建针对用户指定不良行为的基准，高效且评估与人类一致性高
📌 工作参考价值（4 点）
- 借鉴从部署日志构建评估集的方法：在电商搜索/推荐Agent中，可以记录真实会话轨迹，自动提取负面案例（如不相关推荐、违反政策回答），构建针对特定问题的回归测试集。
- Anchor-and-Confirm 高效构建流程：先通过规则、向量检索等可编程方法筛出候选，再用 Flash LLM（低成本）逐条确认，大幅降低人工标注成本，适合大数据量下的评估集生成。
- decision-point continuation 评估范式：无需完整环境重放，只需在关键决策点（如 LLM 生成下一轮推荐或回复）做续写评估，结合行为特定 rubric 自动打分，与人类一致性高，可用于线上模型行为的快速监控。
- 针对 LLM Agent 在推荐/搜索中的不良行为（如幻觉、违规话术），可以利用此框架自动生成定制化 benchmark，纳入模型上线前的回归测试和递归自我改进循环。