训练无关 MoE 专家剪枝中的替换算子与路由语义
🧭 MoE 专家剪枝 · 替换算子与路由语义 ★ 深度解读
School of Electrical Engineering and Computer Science (SEECS), National University of Sciences and Technology (NUST) · Deep Learning Laboratory, National Center of Artificial Intelligence (NCAI), NUST
固定剪枝掩码，系统比较 MoE 专家替换算子与门控尺度，提出倾斜新手算子并揭示 trained-scale rule
📌 工作参考价值（4 点）
- 部署 MoE 推荐/Agent 模型时，剪枝后不要默认 renormalize 幸存者 gate；先检查原模型 router 是否在训练时做了 top-k renormalization，保留与其一致的 gate scale（trained-scale rule），否则可能掉 0.8–8.5 个点，甚至反转 rerouting 是否优于均值常数。
- 若要对剪掉的专家做廉价替代，可用 tilted novice：只存一个低秩输入映射（rank-32 甚至 rank-8），参数增加约 1.2–1.8%，在多项选择和生成任务上稳定优于均值常数，且对 3/4-bit 量化鲁棒；比保留更多专家更省参数。
- 评估剪枝模型不能只看 MCQ；务必加入 GSM8K、代码生成等推理/生成任务，因为 25% 剪枝时 MCQ 可保留 92–97%，但 GSM8K 仅 5–65%、代码 0–17%，结论可能反转。
- 校准数据域对剪枝 mask 影响很大（4–9 倍于重采样），推荐/Agent 场景应使用与线上分布一致的校准数据，并报告不同校准切片的结果；仅用通用文本可能掩盖领域退化。
异构协同进化训练工具高效搜索智能体的零标注框架
🧭 搜索 Agent 零标注协同进化训练 ★ 深度解读
Nanjing University of Aeronautics and Astronautics · Didichuxing Co. Ltd
零标注下用异构 proposer–solver 协同进化同时优化搜索智能体准确率与工具调用效率
📌 工作参考价值（4 点）
- 用海量无标注 query 日志替代人工 QA：从用户 query 出发，先让 proposer 生成实体答案，再用检索构造证据路径并做程序化校验；电商搜索/推荐 Agent 可直接复用会话 query 和商品知识库生成训练任务，省去标注成本。
- proposer 与 solver 解耦且可异构：3B/4B 小模型就能给 7B/8B solver 出题，任务生成成本与求解器规模解耦，跨模型族还能带来互补先验；线上可用便宜模型持续产出课程任务。
- 中间难度奖励 4*Acc*(1-Acc) 自动筛选约 50% 通过率的前沿任务，避免全对/全错无效信号；业务 RL 任务生成或课程学习可直接复用，奖励任务生成器追求 mixed group。
- 工具调用效率奖励：对同一任务的 K 条轨迹，把 search call 次数按组内最大值归一化后乘 correctness，只让答对且调用少的轨迹拿高分；商品搜索/Agent 里的 API/检索调用可用 task-local 惩罚控制成本且不明显掉点。
以技能为中心的智能体推进临床基因组分析
🧭 LLM Agent 技能编排与临床决策支持
Shanghai Jiao Tong University · Shanghai AI Laboratory · Xinhua Hospital affiliated to Shanghai Jiao Tong University School of Medicine · The Chinese University of Hong Kong · Shanghai Chest Hospital, Shanghai Jiao Tong University School of Medicine
ClinGeX智能体组合105个可执行临床基因组技能，留出基准一致性71.7%，远超最强对比45.7%
📌 工作参考价值（4 点）
- 技能化封装领域能力：将推荐/搜索系统中的召回、排序、过滤、解释等环节封装为可执行技能（API/工具），LLM 根据任务上下文检索并组合，而非直接生成，可显著提升可控性与可维护性，尤其适合多步骤重决策场景。
- 任务特异检索与依赖感知编排：为不同业务场景（新品、促销、长尾商品）维护技能索引，按任务类型动态检索少量相关技能，减少 prompt 长度；同时用 DAG 管理技能依赖（先召回后排序、先过滤后解释），避免 Agent 乱序调用。
- 人机协作评估设计：借鉴其三条件对照（无 AI、通用 LLM、专用 Agent）和真实世界反馈，在电商运营/算法协作中量化专家采纳率与效率提升，避免只看离线指标。
- 时间留出验证：采用 temporally held-out 切分评估，防止信息泄漏，推荐系统模型迭代中也应严格按时间切割验证集，评估泛化能力。
用户历史中的个性化物品表示 PRISM
🧭 序列推荐 · 个性化历史表示 ★ 深度解读
Meta MRS · Facebook Discovery
复用上游排序计算，为每个用户-物品对生成个性化历史嵌入，提升下游序列推荐质量
📌 工作参考价值（4 点）
- 复用上游排序器中间状态：不需要为历史序列单独训练一个 user-item 模型，而是从现成的 ranker 中提取 user tower、user-item tower 和 session mixing 的隐藏层，用 autoencoder 压缩成一个固定维度的 event embedding。这样可以把昂贵的个性化计算摊销到上游推理，下游只读取轻量向量。
- 多层状态联合压缩：将 user 状态、pair 状态、同请求候选混合状态的所有层 concatenate 后做归一化，再用一个带重构损失的 autoencoder 压缩到 128 维。注意对每一部分做 per-part normalization 控制尺度，并用 softsign 限制输出范围；重构损失只更新 encoder/decoder，不干扰主任务。这比只取最后一层或简单 pooling 信息更丰富。
- 个性化历史长度存在幂律收益：实验测得 NE 提升随历史长度 L 呈 ~L^0.468 增长，说明保留更多个性化事件是有持续收益的，但边际递减。业务上可以据此做 ROI 分析，选择合适的历史长度与存储成本。
- 工程落地细节：导出的 embedding 采用 INT8 量化，附带时间戳和生成器版本，下游通过版本化投影矩阵读取，兼容模型迭代。这种版本管理对线上推荐系统很实用，避免旧 embedding 失效。
预填充解码长度预测的基本极限
🧭 LLM推理调度与基准协议
Xi'an Jiaotong University · Shandong University
揭示解码长度预测中的系统误差主导性，推导出所有基于预填充的方法必须遵守的统计界限
📌 工作参考价值（4 点）
- 在 LLM 生成式推荐或 Agent 对话系统中，解码长度预测可用于响应时间预估、超时设置与批量调度；可直接借鉴论文中的正态/CLT 模型对长度分布建模，用均值和方差快速估算尾部风险，无需部署复杂预测器。
- 评估任何解码长度预测模型时，必须固定模型版本、数据分布、采样参数（temperature/top-p/top-k），否则预测精度数字不可比；应同时报告相对误差指标，避免被绝对 MAE 误导。
- 若要在业务中优化推理资源或做容量规划，先训练一个简单 MLP 逼近理论界限，作为系统误差基线；若复杂模型（FiLM、MoE 等）无法显著超过该基线，则不需要引入额外复杂度，节省工程成本。
- 方差律 σ=αμ+b 可直接用于线上 SLA 估算：只需统计平均解码长度即可估算方差区间，辅助确定告警阈值、超时上限以及 GPU 并发调度策略。
阅读更多、推理更深：长序列推荐的潜在工作空间
🧭 长序列推荐 · 解耦证据与推理缩放 ★ 深度解读
Meta MRS · Facebook Discovery
用持久化 typed banks 与固定大小 workspace 解耦证据/推理缩放，10K 历史下 NE +0.19%、前向 GFLOP -69.6%
📌 工作参考价值（4 点）
- 架构级解耦：把用户历史、请求上下文、相似事件等证据放入持久化 typed banks，仅让固定大小的候选 workspace 在层间传递。增加历史长度不影响每层状态，适合电商长行为序列排序。
- 每层 Query-Reread-Interact：workspace 先做 self-attn 生成 source-specific queries，再从 banks cross-attn 读取证据，最后与候选做 FM/deep-cross。深层可做候选相关的精读，而不是早期一次性筛选。
- condensate archive：非最终层压缩 post-interaction 状态写入 archive，后续层同时读原始证据和压缩后的中间决策。可用于多跳兴趣演化，避免遗漏早期证据。
- 算力分配：joint scaling 曲线给出在历史长度与推理深度间分配训练 compute 的评估方式；上线可追求同等质量但大幅降 GFLOP，10K 历史下前向 GFLOP 降低 69.6%。
CoWalk：面向磁盘驻留图 Agent 批量查询的协作游走
🧭 向量检索 · 批量协同查询优化
Sun Yat-sen University · Pengcheng Laboratory
让批量语义相关向量查询在同一线程协作遍历图索引，每页只读一次、所有查询共享打分，显著减少 I/O 与距离计算
📌 工作参考价值（4 点）
- 如果业务中存在 query 改写、多路并发召回或多 rollout 评测等批量语义相关向量查询，可在服务端把同一 batch 绑定到同一线程/执行器，共享页读取与打分，直接降低磁盘 ANN 的重复 I/O。
- 仅加共享 page cache 不一定能加速搜索，因为 walk 不变、距离计算仍是瓶颈；需要让任一 fetched page 被 batch 内所有 query 同时计算距离，从而改变剪枝与候选扩展过程，才能同时减少距离计算和 I/O。
- 在电商/广告的 embedding 召回或 RAG 检索服务中，可设计 batch-aware ANN 接口：上游把所有改写 query 一起下发，索引层做协作遍历，而不是逐个查询独立执行，吞吐可提升数倍。
- GRPO、deep research 等多 rollout/子任务并发的 agentic search 场景，查询生成侧天然产生语义相近 batch，适合用该思路做底层检索加速，降低向量库成本。
Glance：生成器即重排序器
🧭 生成器内置重排序，共享 prefill
Airun Intelligence Labs
提出 Glance，给生成器加轻量决策适配器和指针头，共享一次 prefill 对候选段落打分，免去独立重排模型
📌 工作参考价值（4 点）
- 若业务中已部署 LLM 作为生成式排序或回答模型，可借鉴 Glance 思路：在同一个 LLM 上挂轻量决策头同时完成相关性打分与生成，避免单独服务 cross-encoder，节省显存和部署成本。
- “共享 prefill + 轻量 probe”技巧：对候选商品/内容批量编码一次，从缓存中分支不同 probe 产生分数，比逐对 prefill 更高效，适合候选量较大的重排场景。
- 激活适配器变体允许生成继续使用原始缓存，可将重排与生成解耦为不同 adapter，按需激活，主干权重不变，便于多技能扩展。
- 注意：论文仅在通用 RAG 数据集上验证，迁移到电商/推荐需自行评估，但“单骨干多技能”的架构思想值得复用。
HALO：面向主动式智能体的人类细粒度评估
🧭 主动式Agent评估与人类诊断
University of California, Davis · 2077AI · University of Southern California
提出HALO-Arena与HALO-8K，以人类细粒度诊断评估主动Agent是否、何时、多大程度干预，发现过度主动占拒绝主因
📌 工作参考价值（4 点）
- 做主动推荐/push/智能客服时，别只看点击或二分类接受率；可仿照 HALO 把拒绝原因细拆为 timing（过早/过晚）和 intensity（过度/不足），重点监控 Premature+Excessive 的比例，因为该研究发现 61.20% 拒绝来自过度主动。
- 在 Agent 介入前，先强制做证据检索：区分 structured DB 与 unstructured docs，记录 retrieval rounds；这能帮助判断是否已有足够信息，避免仅凭当前上下文过早干预。
- 设计决策时显式建模 action level / scope，而不是单一动作；允许系统选择“保持沉默/仅提醒/部分代劳/完全代劳”，配合人类诊断校准阈值。
- 可借鉴 4 类主动需求分类（Dependency, Blockage, Risk, Opportunity）为推荐/营销触发场景做需求建模，例如缺货补货提醒（Blockage）、价格风险（Risk）、关联购买（Opportunity）。
量子启发式成对排序聚合与主动 LLM 反馈用于文档重排
🧭 量子启发式排序聚合 · LLM 主动反馈 ★ 深度解读
University of Arkansas, Fayetteville · Walmart Inc. Applied AI
只用高分歧文档对的少量 LLM 判断学习多路检索融合权重，以约 30 次调用逼近 SOTA 零样本 LLM 重排效果
📌 工作参考价值（4 点）
- 如果线上已有多路检索/召回（BM25、dense、SPLADE）需要融合，可借鉴「只让 LLM 判高分歧 top-r 文档对」的主动采样：每 query 约 5–30 次 LLM call 即可超过最强无监督融合，成本远低于 listwise/pairwise 全量重排，适合低延迟搜索与 RAG 候选重排。
- 权重更新公式可直接复用：用 LLM 的 A/B 判断和 logit gap 做置信度过滤，保留高于 τ 的判断；权重 ∝ softmax(β * mean(2*P(winner|ranker)-1))。累积历史 refit 比 momentum 更稳定更强，推荐 β=3、τ=2.5，无需训练数据或微调。
- 最终只做线性分数融合，工程上极轻量，可缓存各 ranker 分数与融合权重，毫秒级重排；若原始 BM25 分数缺失，可用 rank-based proxy 替代。
- 注意当前二选一判断无法处理“两个文档都不相关”的场景，可能引入噪声；低置信度过滤只能缓解，业务可考虑增加“都不相关”选项或校准置信阈值。
LLM 强化学习中训练-推理失配的成因与修正
🧭 LLM 在线强化学习训练稳定性
George Washington University · Duke University
拆分数值偏差与策略滞后，提出 DLC 校正，稳定异步采样下 LLM 在线策略训练
📌 工作参考价值（3 点）
- 在线 RL 训练 LLM 推荐文案/对话 Agent 时，若推理引擎与 trainer 分离，先对每个 prefix 的 score 做 centering 再计算 advantage，可去除推理引擎数值差异带来的近固定偏差；类似 advantage normalization，但要按 prefix 而不是全局批量做。
- 对异步采样引入的 policy lag，不要只做 per-token importance weighting；持续监控重要性权重的 ESS，低于 0.5 时强制同步 sampler 权重。该阈值在 Qwen3-1.7B 上被验证为崩溃临界点，可作工程默认触发条件。
- 别只监控 sampler 端前缀上的 KL，它检测不到由滞后反馈导致的塌缩；建议增加与 on-policy baseline 的 KL 对比或 trainer 侧 KL 监控，并配置自动 resync。
Mage-VL-Cowork：从进化式 Harness 学习混合计算机使用的完整训练配方
🧭 计算机使用智能体 · 多阶段课程训练
Microsoft Mage Team
4B混合计算机使用智能体，通过五阶段课程与技能化数据生成，在OSWorld-Verified达66.0%同尺寸SOTA
📌 工作参考价值（4 点）
- 技能条件化数据生成可迁移：用「技能定义 + 可复用工作流 + 应用特定 preparer」替代逐任务构造，在电商 GUI 智能体（购物车、下单、订单查询等）中可显著降低合成数据成本，并规模化覆盖长尾技能。
- 五阶段课程（midtraining → SFT → RL）值得借鉴：先做通用多模态对齐，再注入任务完成能力，最后用 RL 优化决策质量；对训练面向搜索/推荐业务的 Agent 策略有直接参考价值。
- 进化式教师 harness 提供高质量监督信号：不直接蒸馏默认大模型，而是为不同训练阶段定制教师策略，有助于提升小模型轨迹质量，可复用于蒸馏电商场景的 4B/7B 级端侧助手。
- 小参数模型也能逼近前沿性能：4B 在 OSWorld-Verified 达 66.0%，说明数据与课程设计比单纯堆参数更关键，对需要在端上部署低成本 Agent 的业务是积极信号。
MemSteer：将用户历史转化为智能体记忆优化监督
🧭 智能体记忆设计自动优化 ★ 深度解读
Peking University · Microsoft Research Asia
从无标注用户历史自动生成证据支撑的 QA 监督，用于迭代优化记忆存储、检索与上下文构造
📌 工作参考价值（4 点）
- 用自动生成的 QA-evidence 监督替代人工标注：在个性化记忆、用户画像、会话上下文的评估与优化中，可以从用户历史自动构建问题-答案-证据三元组，作为弱监督信号，避免昂贵的标注。
- 证据引导的失败归因：把错误响应定位到存储、检索或生成阶段，能精准指导设计修改。类似推荐系统中定位召回、排序或重排问题，提升迭代优化效率。
- 跨用户迁移 + 目标用户继续优化：先用一组用户学习共享记忆设计，再用目标用户历史生成的 QA 继续微调，适合冷启动场景。
- 盲答案恢复与源审计保证数据质量：合成数据必须通过可验证的检查才能用于训练或评估，这可以作为数据清洗和评估集构建的通用流程。
面向大规模广告的可靠可扩展价值对齐生成式推荐系统
🧭 生成式推荐 · Semantic ID · 价值对齐 ★ 深度解读
Kuaishou Technology
通过多路径SID、五维容量扩展和统一价值引导生成与判别，快手广告生成式推荐实现3.07%收入提升
📌 工作参考价值（4 点）
- Multi-Path SID：对 embedding 聚类边界模糊的物品保留 top-m 条第一层路径，避免单路径 SID 被 beam search 剪枝后完全不可达。电商/广告场景中物品语义边界普遍模糊，可低成本提升召回覆盖，且不增加解码深度。
- PCGM 词汇记忆扩展：用 prefix 条件门控记忆表代替稠密 FFN 门控，按前缀长度检索不同粒度的 SID 嵌入，垂直方向层独立，水平方向支持 1/2/3-gram。在不增加每次解码稠密计算的前提下大幅提升参数容量，适合在线延迟敏感系统。
- Diagonal Hyper-Connections：多流残差 + 对角门控，每个子层只计算一次注意力/FFN，却可以扩展多条信息通路。相比直接加宽或加深 Transformer，在相同吞吐下获得更好表示能力，可复用于推荐模型的序列编码器。
- Prefix-level value + PV-BeamSearch：将序列级奖励自底向上聚合为前缀价值，训练轻量级 per-level 价值头，推理时用 RRF 融合生成概率排名和价值排名，从 level≥2 开始干预。有效解决高价值 prefix 被过早剪枝的问题，且无需外部重排模型。
内在分布匹配
🧭 少步文生图蒸馏 · 矩匹配
Inclusion AI · Westlake University · Tsinghua University · Zhejiang University · Shanghai Innovation Institute
提出 IDM，在 DMD 中显式匹配生成器 EMA 特征的均值与逐坐标标准差，提升少步文生图长文本渲染
📌 工作参考价值（4 点）
- 少步生成中的细节保真：在商品图/广告创意生成中，可显式匹配生成器自身 EMA 特征的均值与标准差作为辅助损失，提升提示文本细节（如品牌文字、卖点、活动文案）的还原度。
- 不依赖外部特征编码器，使用生成器 EMA 特征做分布匹配，减少额外训练依赖和线上资源；适合业务侧快速蒸馏或微调文生图模型。
- LoRA 参数高效微调即可获得收益，适合在已有大模型基础上低成本迭代 AIGC 素材生成。
- 可借鉴其分解与消融思路：将分布差拆成高斯矩和非高斯残差，先约束可解释的低阶统计量，比盲目堆损失更可控，也可迁移到其他生成式任务。