基于任务超图学习互补智能体组用于缺失模态下一兴趣点推荐
🧭 多 Agent 任务超图驱动的 POI 重排 ★ 深度解读
Swinburne University of Technology · Australian Catholic University · University of Tennessee · University of Tokyo · Deakin University
用任务超图动态选择互补 Agent 组，在缺失多模态 POI 重排中带来 8.4–9.1% NDCG@20 相对提升
📌 工作参考价值（5 点）
- 可把重排拆成明确任务类型（全局状态更新、候选对比、缺失模态补偿），再用超边记录 task-target-members，既便于策略学习，也便于做成本约束和消融。
- 采用固定角色 Agent + 共享冻结 LLM + 角色级 LoRA，并用任务局部状态隔离多任务执行，适合在线 Serving 中复用同一 LLM 骨干而不互相污染。
- 广播候选级共享结果再指导下轮操作，比各 Agent 独立评分后融合或单控制器顺序取证据更有效；在复杂候选排序场景可以用类似的成员间共享证据机制。
- 两阶段训练值得复用：先监督 warm-up 学 executor 和 ranking head，再固定 executor 用 PPO 学 task/member/operation/stopping 策略，并把 computation cost 直接加入 reward，得到可解释的质量-成本曲线。
- 缺失模态处理建议显式保留 mask，区分“缺失”和“零值特征”，只利用可用证据更新候选状态，不改原始模态；这比丢弃 mask 或插补更稳健。
截断与否？循环Transformer截断BPTT的缩放研究
🧭 循环Transformer训练与缩放律
MMLab, The University of Hong Kong · Yale University
拟合统一缩放律发现完整BPTT优于截断，两圈循环用27%少参数和8%多计算达到更低验证损失
📌 工作参考价值（3 点）
- 若在推荐/广告模型中采用共享层块的循环结构以减少参数量，不要为了省显存而截断BPTT；在同等总计算预算下，完整BPTT通过更少前向循环反而效果更好，可优先降低循环次数而非截断反向传播。
- 缩放律表明截断会“折扣”有效参数，因此在估算模型容量或做资源规划时，应把截断后的有效参数而非原始参数纳入考虑，尤其对于参数量敏感的端侧或在线学习场景。
- 当业务强约束参数量（如模型部署在边缘设备），可考虑训练两圈完整BPTT的循环Transformer，比计算最优非循环模型少约27%非embedding参数，且仅需多约8%训练计算，适合参数受限但训练算力相对宽裕的情况。
扩散语言模型解码速度随任务与语言变化
🧭 扩散LM推理成本与解码速度分析
University of California, Los Angeles · CIS, LMU Munich · Munich Center for Machine Learning
扩散LM前向次数由输出新颖性与词稀有度决定，解码速度加权候选可提升推理准确率4.2点
📌 工作参考价值（4 点）
- 生成式任务可借鉴“解码步数作为难度/置信度信号”：在生成推荐理由、广告文案、搜索词推荐时，用前向次数或解码速度对候选结果排序或早停，低成本的候选往往更可靠。
- 对不同类型的生成任务设置差异化资源预算：复制/改写类任务（如 query 改写、标题生成）成本低，开放式生成（如创意文案）成本高，可在系统中动态分配超时或批大小。
- 多语言场景需额外考虑每 token 成本：高 tokenization 的语言不仅 token 数多，每 token 前向次数也更高，在估算延迟或做多语言资源分配时应加权而非只看 token 数。
- 用解码速度加权候选答案优于多数投票，在集成多个生成结果时可以在不增加额外成本的前提下提升可靠性，适合用于生成式推荐或 Agent 的最终答案选取。
MAPS：强化学习增强的多智能体个性化脚本驱动视频广告系统
🧭 多智能体广告生成与 RL 对齐 ★ 深度解读
Beihang University · Kuaishou Technology
多智能体闭环生成个性化视频广告脚本，结合 GRPO 多维奖励，在线 CTR/CVR/ARPU 显著提升
📌 工作参考价值（4 点）
- Profile Agent 用 MLLM 从异构行为序列提炼四维用户画像（topical interests、presentation style、implicit needs、decision-making tendencies），可替换传统 embedding 画像，适合 Agent 化推荐/广告系统的用户理解模块。
- 奖励函数拆成 Rule-based Structural + LLM-as-a-Judge Personalization + Product Alignment，权重 0.3/0.4/0.3；业务里生成文案/脚本/素材时可直接复用，结构合规用规则、偏好对齐和事实一致性用 LLM Judge，避免只优化 CTR 跑偏。
- SFT + GRPO 两阶段训练：SFT 冷启动学格式，RL 用组内相对优势和 KL 约束贴近 SFT；LoRA rank 32 微调 Qwen3-VL-8B。GRPO 不需要 critic，适合用 LLM-as-a-Judge 做 reward 的生成对齐任务，工程成本低。
- Reflector Agent 对线上负反馈做 profile-level vs script-level 归因，只回传 minimal revision，避免全量重新生成；适合低延迟闭环迭代，在推荐/广告系统中可把反馈打到画像或脚本局部，而不是重跑 pipeline。
MemT-1.0：迈向记忆原生进化的基础模型架构
🧭 记忆原生 LLM · MoS 扩展容量 ★ 深度解读
MemTensor Team
提出 MemT-1.0，用 Gated DeltaNet-2 与 MoS 将记忆内化为模型原生状态，128K 历史下较 full KV cache 提速 1.86×、存储降 66×
📌 工作参考价值（4 点）
- 会话/用户记忆建模：用固定大小的 recurrent memory state 替代全量 session KV cache，适合电商导购 Agent 的长期用户偏好、历史订单与多轮上下文压缩；持久状态可在多个 query 间复用，摊薄历史准备成本。
- 训练方法：冻结推荐/对话 backbone，只训 memory 参数，用 full-context teacher 做 top-K KL 蒸馏 + CE；业务上可用线上完整上下文模型蒸馏出轻量记忆模块，避免重训大模型。
- MoS dense routing：当记忆容量不够时扩展多个 memory expert，读写分开路由，比稀疏 MoE 更稳定；可用于用户分群/场景差异化的记忆写入与读取。
- 经验内化：把检索到的成功操作流程（如售后、选品、谈判策略）写入 memory state 来指导多步 agent，而不是每次都塞进 prompt；可降低 token 成本并提升行为一致性。
Meta Expert：跨层专家共享的存储与检索高效 MoE
🧭 MoE 架构优化 · 跨层参数共享 ★ 深度解读
Tsinghua University · Shanghai AI Laboratory
用跨层共享的 Meta Expert 替代层私有专家，在 Iso-FLOPs 下仅需 70-80% 专家数即可匹配 Vanilla MoE
📌 工作参考价值（4 点）
- 推荐/广告大模型 MoE 层可直接复用：如果业务中训练 MoE 结构的 LLM（如生成式推荐、用户行为序列建模），可将中间的若干层专家改为跨层共享的 Meta Expert 池，保持每层激活专家数不变，FLOPs 不变，但能节省 20-30% 专家存储参数，降低显存占用和加载成本。
- 多场景/多域专家共享借鉴拓扑设计：论文发现“前两层 + 最后两层保持 Local Expert，中间层共享 Meta Expert”以及“Meta 池分成 2 个 interleaved 子池”效果最好。这可以迁移到多域推荐模型：边界层保留场景特有专家，中间层共享通用专家池，既保留差异化又减少冗余。
- 专家冗余度量可用于模型诊断：用线性 CKA 的 Gini 系数衡量专家功能重叠，可以搬到推荐模型的分析中，识别哪些塔/专家在做重复工作，指导剪枝或共享决策。
- 双向 residual pathway 视角启发架构设计：共享参数层相当于在单次前向中让浅层和深层相互读取同一存储，等价于增加隐式跨层连接。在用户表征学习或序列建模中，可以考虑类似的“共享模块”让不同深度互相访问，而不必显式增加跳跃连接。
面向生成式推荐的邻域感知遗忘
🧭 生成式推荐 · SID 邻域感知遗忘 ★ 深度解读
BIFOLD & TU Berlin, Germany · University of Amsterdam, The Netherlands
NAU 结合 SID 级遗忘目标与邻域概率质量控制，消除生成式推荐遗忘对共享 token 邻近物品的泄漏，保持超 95% 重训效用
📌 工作参考价值（4 点）
- 在 SID / Semantic ID 生成式推荐中做遗忘时，不要只对目标 item 做 gradient ascent，要在 loss 中显式加入邻居概率质量项；λ_n 取正保留合法邻近替代品（spam 删除），取负抑制相似语义邻居（不想推的类目），一个参数控制两种删除场景。
- 评估遗忘效果不能只看全局 NDCG，必须增加“被删 item 的 SID 邻域”上的 utility/exposure 指标；本文显示全局 NDCG 几乎不变时邻域 NDCG 可能掉 13 个百分点以上。
- 工程上可复用 retain+forget+separation+neighborhood 四类 loss 组合，无需二阶信息，模型架构和 SID 保持固定，推理时也不做候选过滤；遗忘耗时 3.7s vs retrain 17,399s，适合频繁删除请求。
- 邻居构建可以直接用 pre-quantization embedding 的 top-k（k=8），评估用 SID 第一 token 邻域；这种结构对商品语义编码相似的电商场景可快速迁移。
OneChord：蒸馏所排名的融合分布，单 pass 完成生成式推荐
🧭 生成式推荐 · Semantic ID 融合蒸馏 ★ 深度解读
University of Chinese Academy of Sciences
学习 SID 与 item 匹配的 catalog 归一化融合分布，并通过蒸馏将 refined 排序迁移到 one-pass 推理，平均 NDCG@5 提升 7.12%，推理更快
📌 工作参考价值（4 点）
- 在生成式召回/精排融合场景，把最终线上融合打分（如 SID 概率 + 双塔相似度）作为唯一训练和蒸馏目标，而不是分别训练后手工调权；学一个全局混合系数 α，实验显示比固定 0.5 融合在所有数据集都有提升，且对 α 不敏感，业务可安全上线。
- 蒸馏时保持「先 catalog 归一化，再融合，最后才 candidate conditioning」的顺序，否则两分支在子集上的相对权重会发生偏移，导致排序反转；工程实现上先在完整合法库算 normalizer，再取候选子集。
- 用 frozen denoiser 从 one-pass 学生生成部分可见的合法 SID 状态，学生自己评估这些状态得到 refined 目标，再和直接预测在 shared hard candidates（label + 100 negatives + 双方 top-32）上做温度 KL 蒸馏；推理仍是单次前向，成本不增。
- 通过共享 decoder 同时产出 SID 概率和 item 相似度，用 stop-gradient 隔离 catalog 侧 embedding，缓存 item 向量，serving 只需一次 encoder + 一次 parallel decoder + catalog scoring，适合低延迟线上；相比最快 baseline 还能快 4–18%。
OpenSaC：面向深度研究智能体的 Search as Code Python 库
🧭 深度研究 Agent · Search as Code ★ 深度解读
Renmin University of China · National University of Singapore
开源 Python 库 OpenSaC 将搜索、抓取、重排、LLM 调用组合为可执行程序，使 Codex 类智能体做深度研究时显著节省 token 与时间
📌 工作参考价值（4 点）
- 在电商/广告深度研究型任务（竞品调研、商品参数多源比对、落地页批量解析）中，可将“搜索→抓取→重排→LLM 字段抽取”封装为可组合 SDK，由 coding agent 一次写成批量程序执行，避免 ReAct 逐条交互，显著降低 token 与 wall-clock 时间。
- 统一返回结果并保留 URL/来源标识，天然适合需要可追溯证据的选品、价格监控和广告素材合规审查；把中间文件落盘到 workspace 可复用，避免重复抓取。
- provider 可替换和批处理容错设计（batch 保持顺序、返回 per-input errors、部分成功）值得直接借鉴到推荐/搜索的离线数据生产：批量 query 生成、召回通道调用、rerank 评估都可以做成可配置后端和可重试代码单元。
- 若业务已有编码 agent（如 Codex/Claude Code），可模仿其 skill 机制增加内部“检索/数据获取”技能卡，显式教授 agent 何时 batch、何时保留 full source、何时只返回高置信片段；这种方式比硬编码 pipeline 更灵活且可调整。
判定理由：面向生成式奖励模型的决策证书监督
🧭 生成式奖励模型训练与理由质量监督
University of Connecticut · NEC Labs America
提出 DeCert 框架，用决策证书评估 rationale 有效性与一致性，构造偏好对训练生成式奖励模型
📌 工作参考价值（4 点）
- 在电商/广告中若用 LLM 生成推荐理由或广告解释，不要仅用最终点击/转化标签微调，可采样多个解释，用自动设计的 certificate（validity + verdict consistency）打分，构造偏好对进行 DPO 训练，让模型区分解释质量。
- 无需人工标注 rationale 参考，节省成本；可对线上 LLM-as-a-judge 的评估结果自动构造 rationale 偏好数据，提升判断一致性。
- DeCert 显著缓解 position bias，可将训练后的 judge 用于搜索结果、推荐列表的 pairwise 评估，减少位置对判断的干扰，提升评估可信度。
- 对于生成式推荐（如直接生成商品描述/推荐理由），可将 verdict 正确性与 justification 质量解耦监督，避免“蒙对结论但给错理由”，提高用户信任和转化。
PAR：面向状态跟踪长度泛化的进度对齐循环方法
🧭 循环语言模型长度外推训练
Ant International · National University of Singapore
训练迭代 k 预测前 k 步状态并锚定范数，使 0.5B 模型在状态跟踪上将外推因子提升至 16 倍
📌 工作参考价值（3 点）
- 在 Agent 多步任务或长会话状态跟踪中，可引入进度对齐中间监督：让模型在每一步/迭代预测已执行操作后的状态，而非只给最终答案，能显著提升长序列上的准确率。可结合 prefix self-distillation 用仅有最终结果的数据构造中间标签。
- 对循环状态（如 RNN 隐状态、KV cache 或累加器）做范数归一化：将每次更新后的状态缩放到与首次迭代相同的范数尺度，防止数值漂移，这是长度外推的关键 trick，可在长上下文或多轮对话状态缓存中尝试。
- 学习一个 completion readout 或 early exit 模块，让模型自行判断何时输出答案，避免固定深度或人工设定停止条件，适合在线推荐/对话中动态控制计算量。
ProVe：提案者-验证者解码
🧭 LLM 推理加速 · 提案-验证解码
把大模型微调为一次预测多 token 的 proposer，再以小模型或自身验证，取得 2.5–2.7× 解码加速
📌 工作参考价值（4 点）
- 在延迟敏感的 LLM 在线服务（商品描述生成、query 改写、对话推荐）中，可把已有 AR checkpoint 继续微调成 block proposer，一次 forward 生成多个后续 token，省去额外 draft head，直接降低串行 forward 次数。
- 若业务要求输出与 greedy AR 完全一致，采用 ProVe-lossless 自验证；若允许少量精度损失换吞吐，则接一个小 verifier，这样部署时可以按 QPS 目标动态切换档位。
- 对 Agent 多步推理或工具调用场景，长轨迹生成可让大模型一次起草多个步骤或工具参数，再用轻量 verifier/规则引擎快速校验前缀，减少交互轮次。
- 注意 block size 与接受前缀的关系：论文 block size 16 只有 6.6 token 平均匹配前缀，实际部署需按领域调 block size 并监控接受率，避免无效计算。
桥接自蒸馏用于在线策略学习
🧭 蒸馏训练 · On-Policy 推理蒸馏
Technical University of Munich · LMU Munich · Munich Center for Machine Learning (MCML)
提出 Bridged Self-Distillation 统一框架，用教师推理轨迹作特权上下文，通过自教师与 verifier 实现在线策略蒸馏，适用于任意教师场景
📌 工作参考价值（3 点）
- 蒸馏大模型用于业务中的 query 生成、推荐解释、Agent 规划时，若教师是开 API 或分词器不同，可直接采用 BSD：教师只输出推理文本作为上下文，学生自我蒸馏，省去 logits 对齐和词汇映射。
- 用业务 verifier（点击率、转化率、规则满足等）作为结果信号，结合在线策略样本只对失败 rollout 施加 token 级修正，可训练出更贴合业务目标的小模型。
- 特权上下文技巧可迁移：训练时给模型额外的推理线索或高质量解释，推理时不暴露，类似推荐中训练时使用详细的用户行为解释，部署时只用原始特征，可有效提升小模型能力。
Qwen-Audio-3.1-ASR 技术报告
🧭 音频语言模型 · ASR 与说话人分离
Alibaba Token Foundry, Alibaba Group
在 Qwen-Audio-3.0-ASR 基础上扩展说话人分离与通用音频理解，覆盖多语言、多方言及流式/非流式部署
📌 工作参考价值（4 点）
- 统一音频语言模型可替代「ASR + 说话人分离 + 音频事件检测」多系统拼接，适合电商直播、客服会话等需结构化语音理解的场景；其输出 speaker labels + timestamps + text 可直接用于下游 Agent 做意图识别、摘要或推荐线索提取。
- 指令可控的历史上下文、分层热词定制、原生转录润色，对电商/搜索领域专有名词（品牌、商品名、黑话）识别有直接借鉴：把行业词表分层注入 ASR，可显著降低专有词错误率。
- 异步文件、低延迟流式、交互语音输入、非流式等变体展示了「按延迟/成本选择不同模型」的工程思路，适合在语音购物助手、实时直播字幕、离线质检等业务中做差异化部署。
- 说话人分离与重叠语音处理能力可用于多人客服对话、直播连麦分析，为后续推荐/搜索的用户建模提供更干净、带说话人标识的文本特征。
Sage-A1.5：以能力编排与验证驱动长程执行和科学探索
🧭 Agent 编排与验证优化 ★ 深度解读
Shanghai Artificial Intelligence Laboratory
35B MoE 智能体模型，通过 Agentic Orchestration 与 Agentic Verification 实现并行子智能体协作与自校正，在多项长程任务上超过更大模型
📌 工作参考价值（4 点）
- 并行子智能体 + 隔离上下文 + 结构化反馈可用于电商导购/搜索 Agent：将复杂 query 拆成候选召回、评价证据、价格趋势、竞品对比等子任务并发执行，每个子 agent 独立搜索并返回 answer/evidence/unresolved_issues/status，主 agent 再做冲突消解与覆盖检查，避免单线程长上下文噪声累积。
- 在长程购物参谋或搜索任务中引入内建验证：当连续多轮检索无新增信息或需要形成关键结论时，让模型在推理中显式区分“已证实事实/未验证假设/仍缺失信息”，并据此切换搜索方向；用 Verification protocol: enabled 这类条件提示按需激活，不依赖外部 verifier。
- 训练框架上，窗口化交互 RL 适配电商 Agent 的延迟转化反馈：把多轮搜索、比较、生成推荐到最终点击/转化的长交互按中间结果切成窗口共享奖励，降低 step-level 奖励噪声；同时采用 outcome+process mixed supervision，减少对昂贵人工标注的依赖。
- 合成可验证任务时，将任务构造、审核、评判分离到不同 agent，避免同一个模型出题又评分导致 reward hacking；推荐/搜索 Agent 的任务也可以用 sandbox + deterministic grader 做自动化质量门禁。