Interlock：从局部正确到长程智能体任务完成
🧭 长程 Agent 任务合成与完成过滤训练 ★ 深度解读
Peking University · The Hong Kong University of Science and Technology (Guangzhou) · Tsinghua University · Meituan
用 typed completion graph 约束长程任务合成，并以完成过滤的 RFT 提升 Agent 在外部基准上的完成率
📌 工作参考价值（4 点）
- 用 completion graph 管理 Agent 工作流：在电商运营、广告投放、订单履约等长链路任务中，把“证据→决策→下游产物更新”显式建模为 grounding / coupling / realization 关系，可以防止模型只做对局部决策但漏掉预算、排期、报表等连带更新。
- 合成训练任务时做双重 review：source-coverage 保证原始义务不丢失，public-input critic 保证评估标准可由可见材料支撑。迁移到业务里，可用来生成大量带私有 rubric 的 agent 训练任务，同时避免“只有标注者知道的信息”进入评估。
- Agent-as-judge 比纯文本 LLM-as-judge 更有效：让裁判代理能读文件、写并执行验证脚本，只增加约 11% 的 judge token，就能显著提升过滤出的轨迹的训练价值。适合用来筛选线上 agent 执行记录做 SFT。
- 在固定轨迹预算下，扩大任务 domain 覆盖比重复采同一批任务更划算；对推荐/广告 Agent 也是提示：构造跨场景、跨品类的完成型任务，有助于学到可迁移的“把决策落地到所有受影响产物”的能力。
Jeva：从第一性原理构建系统一模型
🧭 LLM 决策原生架构 · 系统一模型 ★ 深度解读
National University of Singapore
提出 Jeva 决策原生架构，解耦候选编码与请求判断，实现空结果感知、置换不变、候选可扩展与跨请求缓存
📌 工作参考价值（4 点）
- 候选库（商品/广告/工具/标签）用独立 encoder 离线编码成 option memory，在线请求只做 state refinement，尤其适合候选项重复率高的推荐/广告检索场景；set cache + hybrid cache 可大幅降低 p50 延迟。
- 输出层 factorize 为 coverage gate + conditional softmax：在推荐/广告中区分“无可用商品/不投放”和“候选间排序”，避免直接 softmax 的 logK 先验，提升拒答与空结果判断。
- 候选顺序不敏感：用 permutation-equivariant aggregation 天然保证重排商品/工具候选不翻转决策，无需数据增强或一致性 loss。
- 用 LoRA 适配大模型做 decision head，统一 Choice/Noul/Score 接口，支持多任务（是否推荐、选哪个、打分）共用同一决策栈。
将序贯实验设计摊销到推理LLM中
🧭 Agent 自适应信息收集与提问策略训练
University of Cambridge
用信息增益奖励训练LLM进行自适应信息收集，在低计算成本下超越BED基线并跨域迁移
📌 工作参考价值（4 点）
- 对话推荐/澄清场景中，可用信息增益作为 reward 训练 LLM 生成提问，快速锁定用户偏好，减少冗余交互。
- 将实验生成模型与 LLM 自身信念解耦，避免依赖 LLM 可能校准差的后验，用外部模型计算期望信息增益更稳定。
- 摊销策略使推理时无需在线规划或重采样，直接生成下一个问题，显著降低计算成本，适合线上实时对话系统。
- 从简单游戏（Twenty Questions）训练的策略能迁移到临床对话，说明信息收集技能可跨域迁移；电商中可在模拟环境预训练提问策略再迁移到真实对话。
看见、维持与学习：多模态智能体记忆的演进
🧭 多模态 Agent 记忆机制综述
Rutgers · Notre Dame · Michigan · Fudan · UC San Diego
提出双轴框架解析多模态Agent记忆的形成/表示与管理演化，总结设计模式与原则
📌 工作参考价值（4 点）
- 将记忆分为 T1 静态 / T2 动态 / T3 自演进三层，可用于电商导购或客服 Agent 的记忆架构：用户长期偏好作为静态记忆（T1），会话内上下文动态更新（T2），跨会话策略通过经验持续优化（T3）。
- 双轴框架指导多模态商品信息（图片、视频、文本描述）如何编码与表示，可借鉴 modality-specific embeddings、文本/结构化记录、latent/parametric representations 的取舍，设计商品知识库和用户画像的融合方式。
- 原则强调 balancing source fidelity with abstraction、temporal validity and provenance、evidence grounding，对构建可解释、防幻觉的推荐/客服 Agent 记忆至关重要，尤其在召回证据和解释推荐理由时。
- 自演进记忆策略可类比在线学习或 meta-learning，适合需要持续适应用户兴趣漂移的推荐系统，可探索用 LLM 自动更新记忆管理 policy。
快手摘要注意力 V2 技术报告：C-KSA 与 S-KSA
🧭 长上下文高效注意力 · 二级KV压缩与稀疏索引 ★ 深度解读
Kuaishou
在 Hybrid KSA 上新增 C-KSA 与 S-KSA，把 Summary 同时用作可二级压缩 KV 记忆和稀疏索引，128K 下 KV cache 减少 40.4%、prefill 达 1.51×
📌 工作参考价值（4 点）
- 如果业务中已有或计划引入 Summary/landmark token 机制，可参考 C-KSA 的二级压缩：把每 km 个 Summary KV 池化为 layer-local Meta entry，Summary 序列继续按原粒度前向传播，远程缓存按 ks*km 倍压缩。这样可以从已有 Hybrid 模型低成本 retrofit，不用重新设计 chunk size。
- S-KSA 的 block-level routing 比 token-level 索引候选数少 b 倍，适合在电商搜索/广告 Agent 的长候选列表、长商品序列中做稀疏读取；其默认参数 b=4、remote budget K=4096、local window 1024 可作为起步配置，block size 放大到 8 会明显掉点，需谨慎。
- 如果只允许训练新模块，可冻结 backbone 做 module-only 适配：C-KSA 先对齐 attention 输出再全参微调，S-KSA 用 dense teacher 蒸馏 block 选择，18.5B tokens 即可接近 parent；block teacher 用 max pooling 不要用 sum pooling，后者会稀释 salient token 信号。
- 注意失败模式：频繁词提取等全局聚合任务在 128K 下从 45% 跌到 26.67%。若业务需要跨长上下文做类目频次、属性统计等聚合型召回/排序信号，应保留 dense 分支或额外聚合结构，不要完全依赖 sparse attention。
LatentLoop：非对称计算分配的循环 MoE 模型规模化
🧭 循环 MoE 训练 · 非对称计算分配
SJTU · Shanghai AI Lab · USTC · CUHK · NTU
提出 LatentLoop，压缩首轮循环序列、保留次轮全分辨率，将省下算力重分配给隐藏宽度，在相同预算下降低 NLL 并提升下游基准
📌 工作参考价值（4 点）
- 在用户行为序列建模中，可借鉴 LatentLoop 的非对称计算分配：对长序列第一轮使用压缩表示（如 latent 投影或 token 合并），第二轮保留全分辨率，并将节省的 FLOPs 转向加宽 hidden size，而非直接降低延迟；这可在相同推理预算下提升模型质量。
- 用可学习残差系数诊断循环 Transformer 各次访问的贡献，识别可压缩的浅层/首轮访问，指导剪枝或低精度量化；固定系数实验结论“首轮可压缩、次轮不可压缩”可作为先验。
- 在 MoE 推荐/广告模型中，专家 FFN 权重可跨不同序列分辨率共享，但 attention 参数应独立，以适应压缩后序列与全分辨率序列的差异；这比全共享更细粒度，利于多尺度特征融合。
- 面向资源受限的线上推理，可先对输入序列做低秩/降采样压缩并分配给第一层，保留关键的后期层高分辨率，配合专家共享减少参数和 FLOPs；这比均匀缩放更有效，有潜力用于生成式推荐的大模型加速。
LEV：循环决策模型实现快速与深度思考
🧭 循环决策模型 · 自适应深度推理
Lehigh University · University of British Columbia · Vector Institute
提出 LEV，通过循环重跑层而非生成 token 实现自适应深度推理，在决策任务上以低计算开销提升准确率
📌 工作参考价值（4 点）
- 在排序/CTR 预估模型中引入循环 Transformer 层，共享权重跑多步，让模型根据样本难度自适应停止，在线推理可节省 15-24% 计算，准确率损失 <1 点，适合高 QPS 的广告精排场景。
- 借鉴 LEV 的联合训练策略：对每个循环步骤都计算损失并回传，训练时模拟不同深度，使一个 checkpoint 支持任意推理深度，便于线上动态调整 latency-accuracy 平衡点，无需部署多套模型。
- 设计轻量 stopper 网络，利用未标注请求（如线上曝光日志）拟合停止阈值，避免人工标注难度，可直接迁移到推荐系统中做自适应 early exit，在低延迟约束下最大化效果。
- 该工作表明循环层优于同延迟的稠密模型和级联模型（5.4-8.8 点提升），因此在资源受限的端侧或边缘推荐场景中，优先考虑循环架构而非简单加深或级联。
MAI-Gym：面向移动与计算机环境的 GUI Agent 评估与 RL 训练一体化开源平台
🧭 GUI Agent 在线强化学习与仿真平台
Alibaba Token Hub, Alibaba Group
开源一体化 GUI Agent 平台，统一评估/数据/在线RL，9B模型在 MobileWorld 和 OSWorld-Verified 创下 SOTA
📌 工作参考价值（4 点）
- 构建可重置的电商/导购模拟环境：借鉴其 mocked app 与 execution-validated task verifier 设计，在电商场景中搭建可重复初始化的购物、客服、售后等模拟 app，自动生成带可验证奖励的任务，低成本训练 GUI 操作型 Agent。
- 统一 rollout pipeline 保证训练与评估一致性：将环境交互、数据收集和在线 RL 训练纳入同一管线，避免训练/评估行为偏差；其 20K 并行环境实例的工程架构可直接迁移到大规模在线策略训练，如导购对话策略或推荐排序策略的仿真优化。
- 仿真 RL 到真实业务的迁移：论文显示在 mock 火车票 app 上训练后，真实手机任务成功率从 28.8% 提升到 48.1%，证明低成本仿真环境训练的模型可迁移到真实交互场景，适合作为电商 App 操作、订单流程等任务的试错沙盒。
- 直接复用开源任务与合成技能：发布的 2,000 个验证任务和自动化合成技能可作为电商/广告领域 GUI Agent 数据集的冷启动模板，结合自身业务 UI 快速生成带 verifier 的训练任务。
面向小语言模型工具学习的教师引导策略优化
🧭 Agent 工具学习 · 双向 KL 约束 ★ 深度解读
Nanjing University of Aeronautics and Astronautics · 360 Security Capability Center · Nanjing University · Tongji University · Shanghai Jiao Tong University
提出 SeTPO，在 GRPO 中按奖励门控注入教师 token 级反向 KL 信号，并用教师演示前向 KL 保留结构，提升 SLM 工具调用
📌 工作参考价值（4 点）
- 在 RL 训练 SLM 工具调用/函数调用时，不要对所有轨迹都上教师蒸馏；按任务奖励门控只对低奖励轨迹注入教师 token 级修正（用 log p_student - log p_teacher 修正 GRPO advantage），可保留高奖励轨迹的纯 task-driven 更新，避免过度约束。
- 持续保留一个小的 auxiliary SFT/演示损失（如权重 0.1）在 RL 过程中：用冻结教师生成的完整参考轨迹做交叉熵，能稳定输出格式（<tool_call> 等结构），防止 reward 上升但格式坍塌；这对生产环境结构化输出尤其重要。
- 教师模型容量不是越大越好：论文显示 0.5B 学生配 1.5B 教师优于 3B/7B；迁移能力与容量差距存在倒 U。业务选教师可优先选与学生同架构、容量适中的模型，降低分布差异。
- 若工具/API 场景有确定性 checker，可把 composite reward 设为格式奖励 + 正确性奖励（工具名/参数名/参数值 Jaccard+exact match），配合 γ 接近最大奖励的门控，让低奖励轨迹获得教师修复信号。
MolLean：化学推理的过程可验证语言
🧭 LLM 推理 · 可验证工具接口
National University of Singapore
MolLean 将化学 CoT 转为可执行状态转换，通过分层检查和 MCP 逐步验证减少幻觉并提升推理
📌 工作参考价值（4 点）
- 用可执行 trace 替代自由文本 CoT：在电商/广告场景中，可为商品属性生成、推荐理由、促销文案等定义领域约束（类目、价格、库存、合规规则），让 LLM 输出可检查的状态转换，而非仅靠 prompt 约束。
- 有状态工具接口与拒绝不变原则：类似 MolLean-MCP 的设计可迁移到 Agent 工具调用，工具校验失败时不修改状态，避免错误动作污染后续上下文，对搜索 query 改写、组合优惠计算等多步交互尤其有用。
- 全过程细化 + 分步验证反馈：先让模型生成完整 trace 再整体修正，适合离线批量生成；对实时要求高、状态约束严的任务，可引入逐步验证反馈，在反应类/多步推理任务中往往能获得额外提升。
- typed witness protocol 分离原生结构检查与外部测量：可借鉴为区分数据库已有事实与模型生成内容，防止模型把未经验证的属性当成事实写入推荐理由或广告文案。
P2T：免训练将过程奖励分解为 Token 级奖励
🧭 RL 奖励归因 · Token-level reward ★ 深度解读
Chinese University of Hong Kong · Hong Kong University of Science and Technology · University of Hong Kong
提出训练免费的 token 级奖励归因方法，用梯度一阶泰勒近似从 PRM 分解过程奖励，加速 RL 训练并提升推理表现
📌 工作参考价值（4 点）
- 若业务中已有可微分的奖励模型（如用户满意度预测、转化模型、Critic、视觉质量模型），可直接用其梯度对生成序列做 token/action 级归因，无需训练新 reward model；公式简单：token influence ≈ ∇_{e_i} R(E)·(e_i - e_null)，一个 backward pass 拿到全序列。
- 将粗粒度奖励作为 baseline 再叠加归一化影响权重，而非直接用影响分数作为奖励，能显著降低梯度噪声；η 从 0.25 到 1.0 都稳，业务上无需精细调参。选择 null token 用模型 padding token 比 EOS/zero embedding 更稳。
- 训练 Agent/生成式推荐策略时，如果只有最终 outcome label（点击/转化/任务成功），可接入现成 PRM 或可微分 reward model，用 P2T 方式分解到每个 action/token，加速 RL 收敛；论文显示达到同等效果可少 3-4 倍训练步数。
- 注意 PRM 质量决定上限；若 PRM 在目标域不可靠，收益有限，应先验证 PRM 在该域判断准确，且 α 可从小增大。
ReaDy：循环状态作为动态上下文加速混合线性注意力大模型投机解码
🧭 LLM 投机解码加速 · 循环状态
StartLux · University of Chinese Academy of Sciences · The University of Hong Kong
首个利用混合线性注意力循环状态做位置特定上下文检索的投机解码方法，平均3.16倍解码加速
📌 工作参考价值（4 点）
- 如果业务里用 Hybrid Linear Attention 类模型（如 Qwen3、Gated DeltaNet 等）做对话式电商助手或 Agent 长链路生成，可以把目标模型已计算过的 recurrent states 作为草稿模型的辅助上下文，而不是只用最后层 hidden states；这类状态累积历史 token 关联，对预测后续位置更有帮助。
- 工程实现上，参考 ReaDy 的低秩状态读取（low-rank state reads）和 fused operators：将额外上下文投影到低秩空间再融合进 draft representation，避免草稿模型显存带宽和 I/O 显著增加，适合在线推理服务做低延迟 speculate。
- 采用两阶段轻量适配：先冻结 backbone 只训练 query/reader，微调 sequential prediction head；这种改造方式可在已部署的生成模型上低成本引入投机解码，无需全量重训，利于快速线上验证。
- 论文在单卡 B200 上对 Qwen3.8-27B 平均 3.16x 加速，吞吐比 DSpark 提高 7.97%。如果业务需要大量长文本生成（自动文案、Agent planning、多轮推荐解释），可以把 speculative decoding 作为默认推理优化方案之一。
SERO：从可执行 Oracle 续推中学习长时程智能体强化学习
🧭 长时程 Agent RL 的可执行 oracle 续推训练 ★ 深度解读
Shanghai Artificial Intelligence Laboratory · Shanghai Jiao Tong University · Tongji University
将训练期 oracle 多步续推作为辅助监督，并用前缀可达性权重控制离策略深度，提升长时程 Agent RL 的 OOD 表现。
📌 工作参考价值（4 点）
- 在多轮会话型业务（导购/搜索/推荐 Agent）中，可维护训练期 oracle（强规则、大模型或人工策略），从线上策略实际到达的状态恢复环境并执行后续 oracle 动作，把整条“可执行分支”而非单步纠正作为 SFT/RL 辅助监督；推理时完全移除 oracle，不增加线上成本。
- 引入 policy-reachability weighting：用冻结策略对 oracle 前缀的 likelihood 乘积衰减深层监督，避免在策略不兼容的深度离策略状态上乱学；随策略提升自动延长有效监督 horizon。可迁移到多步推荐/对话策略蒸馏，对 OOD 流量更稳。
- 将 oracle 辅助 loss 与 base RL 解耦：不改动 reward/advantage/importance ratio，降低与现有 credit assignment 方法（如 GRPO、GraphGPO）的集成成本，业务上可作为插件式模块，关掉 λ_O 即可回退到原方法。
- 如果业务环境支持状态快照恢复，可构造 counterfactual 续推数据用于诊断和训练；若不支持，也可用真实日志回放近似，但需注意状态-环境一致性。
社交 Agent 交互有效性：从成对世界可验证结果中学习
🧭 Agent 社交交互 · 可验证结果奖励塑形 ★ 深度解读
Alibaba Token Hub, Alibaba Group · The University of Tokyo
提出 HICO-Bench 与 PaCPO：以成对世界可验证结果评估并训练社交 Agent，Qwen3-8B Verified Success 20.4%→28.3%
📌 工作参考价值（4 点）
- 评估体系：引入「Feasibility + Integrity」双层验证。在电商客服/导购/协商 Agent 中，可用规则校验最终订单、退款、排期等结构化结果是否满足双方约束，再让 LLM judge 检查对话是否支撑该结果，避免只看对话流畅度。
- 成对世界构造：对同一公共上下文只改一个私有条件（如用户预算、偏好），构成 contrast set。可用来诊断 Agent 是否真正利用差异信息，而非用同一套回复应付不同用户；也可作为回归测试集。
- 回合级信用分配：PaCPO 的 tentative plan 探测 + 跨世界 credit 可在多轮任务型对话 RL 中复用。每轮后让模型输出「如果现在结束会提交的结果」，与另一世界的结果对比，只在关键信息披露后的分化时刻给予奖励，用 potential-based 重分配保持总奖励不变。对训练客服主动澄清需求、协商出价等场景有价值。
- 保守预期：即使 PaCPO 提升，绝对 Verified Success 仍只有 28.3%，说明复杂多轮交互任务上 RL 收益有限；建议先做好 SFT 初始化（SFT+PaCPO 达 31.67%）和结构化验证闭环，再逐步引入 RL。
生成侧知多少：解锁统一多模态模型中的细粒度理解
🧭 多模态生成与理解协同
Zhejiang University · The University of Hong Kong · The Chinese University of Hong Kong, Shenzhen · Shenzhen Loop Area Institute
揭示统一多模态模型中生成侧表示对细粒度视觉理解的互补价值，提出 GAFU 框架压缩生成侧表示为 G tokens 供理解通路检索，显著提升细粒度任务性能
📌 工作参考价值（4 点）
- 在电商多模态商品理解中，可尝试提取统一多模态模型生成侧（如扩散前向或自回归解码中间层）的视觉表示，与理解侧表示融合或作为额外特征，改善商品颜色、材质、局部属性等细粒度识别；尤其适合对图像细微差异敏感的场景。
- GAFU 将生成侧视觉表示压缩为少量 G tokens 再供理解通路做 task-conditioned retrieval，这一思路可借鉴到多模态特征工程：用可学习压缩 token 保留关键细节，降低计算开销，并支持按任务动态选取相关特征。
- 实验表明生成侧表示对细粒度语义变化更敏感且能捕获理解侧遗漏的变化，说明在搜索/推荐的多模态相关性排序中，可引入生成侧表示作为辅助信号，尤其在 title/图片差异、spatial relation 等需要精细匹配的任务上可能带来增益。
- 该工作采用后训练（post-training）方式而非重新预训练，适合在已有模型基础上低成本注入细粒度理解能力，对业务中多模态模型升级有一定参考。