多视角 MoE：让每个路由头共同塑造专家计算
🧭 稀疏 MoE 多路由与视角混合 ★ 深度解读
Baidu ERNIE Team
通过多路由聚合与路由偏好驱动的专家输入混合，在固定专家预算下提升稀疏 MoE 选路与表达能力
📌 工作参考价值（4 点）
- 如果线上大模型采用 MoE 推理，可在不增加专家 FLOPs 与 all-to-all 通信量的前提下，仅增加约 0.19% 参数，通过多路由头求和与多视角输入混合获得稳定下游收益；对固定延迟预算的搜索/推荐大模型升级较友好。
- 借鉴 score-conditioned input mixing：对每个选中专家，用其跨路由头的归一化 sigmoid 分数混合多个 latent view，在同一 token 下让不同专家看到不同输入；实现时在 dispatch 前完成混合，保持通信量不变。
- 路由诊断可复用：用 dense evaluation 计算所有专家输出 L2 norm 归一化后与 router score 的 Spearman 相关性，定位中深层选路与真实专家效用弱对齐的层；发现弱对齐后针对性地引入多路由或重新训练。
- 从已有 LatentMoE 或类似 checkpoint 升级时，保留 backbone 投影为 View 1，其余视图用 ramp perturbation 从零逐步放开，能在不明显破坏初期训练的情况下平滑加入多视角能力。
Turing LLM 后训练：校准蒸馏与高效动态 MoE 执行
🧭 LLM 多教师蒸馏与 MoE 执行加速 ★ 深度解读
Foundation Model Team, XPeng Inc.
提出校准多教师在线蒸馏（C-MOPD）与动态 MoE 执行优化，四域能力整合分数达 0.9988 并实现 2.86 倍步骤加速
📌 工作参考价值（4 点）
- 多任务/多场景模型统一：电商搜索/推荐常需同时优化相关性、点击率、GMV、内容质量等多个目标。可仿照 C-MOPD，先对每个目标/场景独立训练 RL specialist，再用多教师在线蒸馏整合到单一学生模型；冻结教师 + 学生在线 rollout 能缓解 exposure mismatch，保留各域增益。
- 蒸馏 loss 校准：不同任务的 token-level loss 尺度往往差异大，直接加权容易让大尺度任务主导。C-MOPD 的 teacher-wise loss-scale normalization（对每个 teacher 的 token losses 求标准差并做缩放、裁剪）简单有效，可在多目标蒸馏、Agent 多能力整合中直接使用，降低调参成本。
- 生成式推荐中的 Top-K 匹配：对于生成式 item token / semantic ID 的蒸馏，只匹配 teacher 的 Top-K token 分布可以避免学生被迫学习不相关长尾 token，减少计算和训练不稳定；同时 teacher-local renormalization 确保 student 的概率质量集中在有效支持内。
- 动态 MoE 训练/推理优化：如果业务模型采用动态 MoE（token 自适应专家数），RW32 这样的 width bounding 加 final-route replay 可保证训练与推理 router 一致性，减少显存和通信开销；异步 rollout 与 actor 更新重叠是通用的 RL 训练加速手段，可迁移到大规模 Agent/推荐 RL 训练。
训练无关 MoE 专家剪枝中的替换算子与路由语义
🧭 MoE 专家剪枝 · 替换算子与路由语义 ★ 深度解读
School of Electrical Engineering and Computer Science (SEECS), National University of Sciences and Technology (NUST) · Deep Learning Laboratory, National Center of Artificial Intelligence (NCAI), NUST
固定剪枝掩码，系统比较 MoE 专家替换算子与门控尺度，提出倾斜新手算子并揭示 trained-scale rule
📌 工作参考价值（4 点）
- 部署 MoE 推荐/Agent 模型时，剪枝后不要默认 renormalize 幸存者 gate；先检查原模型 router 是否在训练时做了 top-k renormalization，保留与其一致的 gate scale（trained-scale rule），否则可能掉 0.8–8.5 个点，甚至反转 rerouting 是否优于均值常数。
- 若要对剪掉的专家做廉价替代，可用 tilted novice：只存一个低秩输入映射（rank-32 甚至 rank-8），参数增加约 1.2–1.8%，在多项选择和生成任务上稳定优于均值常数，且对 3/4-bit 量化鲁棒；比保留更多专家更省参数。
- 评估剪枝模型不能只看 MCQ；务必加入 GSM8K、代码生成等推理/生成任务，因为 25% 剪枝时 MCQ 可保留 92–97%，但 GSM8K 仅 5–65%、代码 0–17%，结论可能反转。
- 校准数据域对剪枝 mask 影响很大（4–9 倍于重采样），推荐/Agent 场景应使用与线上分布一致的校准数据，并报告不同校准切片的结果；仅用通用文本可能掩盖领域退化。
你的学习率调度可能并不合理：权重归一化训练中的有效学习率调度
🧭 大模型预训练优化 · Effective LR
ByteDance Seed · Peking University
证明 WN 训练增益主要来自有效学习率轨迹，提出 AIR 调度，在 128B MoE 预训练上比 cosine 降损约 0.01
📌 工作参考价值（4 点）
- 若你在 LLM4Rec / 生成式推荐模型预训练中采用 weight normalization 或固定范数约束，应把 LR schedule 设计对象从 nominal LR 切换到 effective LR，否则会错失 WN 的降损收益。
- 工程上可直接用 AIR 替代 cosine：用 affine 修正 1/√t 衰减以匹配预设 peak/terminal LR，在 128B MoE 实验中比 cosine 的 terminal training loss 低约 0.01，且超参鲁棒性更好，适合线上预训练 pipeline 快速替换。
- 在优化器或训练约束切换（如 WN ↔ WD）时，保持相同 ELR 轨迹可复现训练动态，便于做 infra 对齐和消融实验，减少重新调参成本。
- 优先优化 late-stage LR schedule：早期 LR 选择对最终损失影响较弱，晚期 ELR 调度是主要收益来源；调参资源应集中在后期 schedule 上。
MoE 解码的通道选择无需校准数据
🧭 MoE 推理加速 · 通道选择
KAIST · DeepAuto.ai
证明 MoE 通道选择用 top-k 即可，无需离线校准阈值；并提出基于模型权重的三值草图+低秩恢复读取器，以 17.8% 读取量保持 98.1% 精度
📌 工作参考价值（4 点）
- 部署 MoE 大模型做电商/推荐场景的在线推理或 Agent 时，通道选择直接采用 top-k 分数筛选，不必维护离线校准阈值；阈值会因输入分布变化导致实际读取比例漂移（文中 18% 预算实际仅读 12.9%），top-k 则天然固定每 token 读取预算，便于做延迟 SLO。
- 若沿用阈值方案，需警惕生成任务中的重复循环崩溃，尤其在长文本/Agent 多轮输出中风险更高；可优先切到 top-k，并用生成类 benchmark 而非只看困惑度验证。
- 文中 reader 完全从模型权重构造，用 ternary sketch 筛选通道 + low-rank map 恢复被跳过通道，不依赖校准集；这可作为无校准数据的稀疏化插件，适合线上数据分布频繁变化的场景。
- Triton kernel 在 batch 1 比 vLLM 快 1.60–1.90×，大 batch 达 2.69×；如果自建 MoE 推理服务，可参照其通道读取+恢复实现，在 interactive decoding 小 batch 场景降低 expert weight 读取带宽。
Accordion：通过固定前缀层循环实现弹性深度推理
🧭 LLM 弹性深度推理 · 固定前缀层循环 ★ 深度解读
Tsinghua University · Baidu Inc.
一个 MoE 模型通过固定前缀层循环支持五个推理预算，中间预算以约 21-24% 额外时间捕获 89% 深度增益
📌 工作参考价值（4 点）
- 需要线上不同 latency/cost 档位时，可训练一个模型支持多个推理预算，通过固定前缀层循环共享权重，避免维护多个模型；推理时按请求选择预算，FLOPs 和 KV cache 线性扩展。
- 训练时每个 micro-batch 均匀采样一个预算路径，只优化该路径 NTP，无需跨预算一致性损失；第二遍用 zero-initialized tanh gates，初始为恒等映射，训练稳定。预算无关参数优于 budget-conditioned 参数。
- 多领域能力整合可采用参数组加权合并专家，再做 budget-matched 多教师在线蒸馏（MOPD），能保留各预算增益并提升整体指令遵循，适合搜索推荐中的 Agent 多任务模型合并。
- 资源敏感场景优先选中间预算（如 k=6）：以约 21-24% 额外 TPOT 捕获约 89% 深度增益，推荐系统在线服务可按此设计弹性档位。
EPIC：基于精确 KL 前缀重要性比率裁剪的 LLM 策略优化
🧭 LLM 强化学习 · 前缀级信任域裁剪 ★ 深度解读
Tsinghua AIR · ByteDance Seed · Tsinghua University
提出前缀累积似然比作为精确重要性权重，用 r-1-log r 坐标构建校准裁剪目标，稳定离线 MoE RL 训练
📌 工作参考价值（4 点）
- 电商/Agent 场景若用 RL 微调 LLM 生成商品文案、对话策略或搜索词，常面临异步 rollout 与离线策略偏移，可借鉴前缀级重要性比率裁剪：它比 token 级 GRPO 更能感知前缀累积漂移，又比序列级 GSPO 保留早期位置信号。
- 在 MoE 架构的 LLM 训练中，EPIC 无需存储专家路由索引即可稳定训练，大幅降低 driver 进程内存（对比 R2/R3 降 77.5%/93.0%），适合资源受限的大规模部署。
- 实现上只需对现有 PPO/GRPO 损失做轻量改造：累计 log ratio 得到前缀比率，按校准边界裁剪，无额外模型或 replay，可直接嵌入 verl 等框架。
- 信任域边界采用精确 reverse-KL 坐标和几何均值行为概率校准，比固定 clip 范围更适应长尾响应，对长序列生成任务（如多轮 Agent 交互、长文案生成）的 RL 调优有参考价值。
IQuest-Q1：面向 Agentic CLI 系统的稀疏 MoE 基础模型
🧭 Agentic LLM 训练 · MoE 与多阶段后训练
IQuest Research
320B 稀疏 MoE 模型，通过多阶段训练和模型合并强化 CLI agent 编码能力
📌 工作参考价值（4 点）
- 稀疏 MoE 架构（320B 总参、15B 激活）在保持大模型容量的同时控制推理成本，适合需要实时响应的搜索/推荐 Agent 场景，可参考其专家路由设计，减少线上 latency。
- 多 scaffold + 多版本后训练策略（SFT + 领域 RL + MOPD 跨多种脚手架）能整合互补训练信号，在电商 Agent 中可借鉴：针对商品知识、会话策略、API 调用等不同子任务分别设计 scaffold 和奖励，再合并训练，提升整体鲁棒性。
- 模型合并技术（merge 不同 expert 和 checkpoint 并缓解参数冲突）可直接迁移到多任务推荐模型融合，例如把单品推荐、query 改写、对话策略等专家模型合并为统一模型，降低维护成本。
- 两阶段课程学习先通用后增加 coding 数据，可用于垂直领域 LLM 微调：先在大规模通用语料上稳定训练，再逐步增加电商/广告领域数据，避免灾难性遗忘。
Meta Expert：跨层专家共享的存储与检索高效 MoE
🧭 MoE 架构优化 · 跨层参数共享 ★ 深度解读
Tsinghua University · Shanghai AI Laboratory
用跨层共享的 Meta Expert 替代层私有专家，在 Iso-FLOPs 下仅需 70-80% 专家数即可匹配 Vanilla MoE
📌 工作参考价值（4 点）
- 推荐/广告大模型 MoE 层可直接复用：如果业务中训练 MoE 结构的 LLM（如生成式推荐、用户行为序列建模），可将中间的若干层专家改为跨层共享的 Meta Expert 池，保持每层激活专家数不变，FLOPs 不变，但能节省 20-30% 专家存储参数，降低显存占用和加载成本。
- 多场景/多域专家共享借鉴拓扑设计：论文发现“前两层 + 最后两层保持 Local Expert，中间层共享 Meta Expert”以及“Meta 池分成 2 个 interleaved 子池”效果最好。这可以迁移到多域推荐模型：边界层保留场景特有专家，中间层共享通用专家池，既保留差异化又减少冗余。
- 专家冗余度量可用于模型诊断：用线性 CKA 的 Gini 系数衡量专家功能重叠，可以搬到推荐模型的分析中，识别哪些塔/专家在做重复工作，指导剪枝或共享决策。
- 双向 residual pathway 视角启发架构设计：共享参数层相当于在单次前向中让浅层和深层相互读取同一存储，等价于增加隐式跨层连接。在用户表征学习或序列建模中，可以考虑类似的“共享模块”让不同深度互相访问，而不必显式增加跳跃连接。
Sage-A1.5：以能力编排与验证驱动长程执行和科学探索
🧭 Agent 编排与验证优化 ★ 深度解读
Shanghai Artificial Intelligence Laboratory
35B MoE 智能体模型，通过 Agentic Orchestration 与 Agentic Verification 实现并行子智能体协作与自校正，在多项长程任务上超过更大模型
📌 工作参考价值（4 点）
- 并行子智能体 + 隔离上下文 + 结构化反馈可用于电商导购/搜索 Agent：将复杂 query 拆成候选召回、评价证据、价格趋势、竞品对比等子任务并发执行，每个子 agent 独立搜索并返回 answer/evidence/unresolved_issues/status，主 agent 再做冲突消解与覆盖检查，避免单线程长上下文噪声累积。
- 在长程购物参谋或搜索任务中引入内建验证：当连续多轮检索无新增信息或需要形成关键结论时，让模型在推理中显式区分“已证实事实/未验证假设/仍缺失信息”，并据此切换搜索方向；用 Verification protocol: enabled 这类条件提示按需激活，不依赖外部 verifier。
- 训练框架上，窗口化交互 RL 适配电商 Agent 的延迟转化反馈：把多轮搜索、比较、生成推荐到最终点击/转化的长交互按中间结果切成窗口共享奖励，降低 step-level 奖励噪声；同时采用 outcome+process mixed supervision，减少对昂贵人工标注的依赖。
- 合成可验证任务时，将任务构造、审核、评判分离到不同 agent，避免同一个模型出题又评分导致 reward hacking；推荐/搜索 Agent 的任务也可以用 sandbox + deterministic grader 做自动化质量门禁。
TokenGate：可学习 token 剪枝加速 LLM 预填充且精度不降
🧭 LLM 长上下文预填充加速 · 可学习 token 剪枝 ★ 深度解读
Stanford University · UC Berkeley
提出可插入组件 TokenGate，通过类 MoE 的 token-gated attention 端到端训练 token 剪枝，大幅加速长上下文预填充且精度不降
📌 工作参考价值（4 点）
- 在电商/Agent 场景中，长文档（商品详情、用户评论、搜索广告上下文、RAG 检索文档）的预填充是延迟和内存瓶颈；可借鉴 TokenGate 在模型中间层引入可学习 token 剪枝，相比 FastKV 等启发式方法，端到端训练能显著提升速度且精度无损，且可与 LoRA 一起微调，训练开销仅约 1.3x/step，总体甚至更少。
- token-gated attention 是关键 trick：把不可微的 top-K 剪枝通过类似 MoE 的门控值乘到 attention logits 上，让 scoring network 获得梯度，同时让模型骨干自适应剪枝后的稀疏注意力；该思路可迁移到任何需要在 Transformer 中间层做软筛选的任务，如多文档 RAG 中对检索片段做软裁剪。
- 训练时使用 dual budget sampling（全量 + 对数均匀采样的剪枝预算各一半损失），使单个模型泛化到不同 token 预算，无需为每个压缩比重新训练；这对线上需要动态调整 TTFT 和内存的推荐 / Agent 系统非常实用，可以一次训练，推理时按需调整 K。
- 工程实现上，将 per-key gate bias 融合进 FlashAttention 内核、剪枝后 forward 用 CUDA graph 固定 padding、KV cache 选择性裁剪等做法可直接复用到自研推理引擎，降低集成成本。
迈向正确的循环模型：拓扑、输入注入与循环状态设计（第一部分）
🧭 高效循环 LLM 架构设计
Institute of Foundation Models · USC · CMU
系统消融循环LLM的拓扑、输入注入和循环状态设计，证明Huginn架构在稠密和MoE模型上均优于Ouro且参数效率更高
📌 工作参考价值（4 点）
- 循环 Transformer 是低成本部署 LLM 的有效架构：在电商搜索、推荐系统等需线上低延迟、低显存的场景，可采用 prelude–recurrent block–coda sandwich 结构，以相同 FLOPs 将 resident 参数减少约 75%，适合高频更新和边缘部署。
- 把 input injection 看作增强知识检索与上下文利用的专项机制：在做 query 改写、搜索 suggestion、商品描述生成或 RAG-based 推荐时，可专门设计输入注入层，将用户上下文、商品知识等注入循环块，而不用改变整体拓扑。
- 循环状态设计应从简：论文显示 separate H/L recurrent states 和 random initialization 无稳定收益，因此工程实现中不要过度设计循环状态，优先使用简单共享状态和标准初始化，降低实现复杂度。
- MoE 与循环结合可行且路由更均衡：推荐系统的大规模稀疏 MoE 模型可借鉴 Huginn-style loop，用更少 resident 参数维持性能，同时改善专家负载均衡，适合多域/多任务推荐联合训练。
重新思考现代 MoE 路由探索：MirrorMoE
🧭 MoE 预训练路由探索优化 ★ 深度解读
ETH Zurich · The University of Hong Kong · Max Planck Institute for Intelligent Systems · WU Vienna
MirrorMoE 通过 token 自适应抑制低概率路由专家缩小探索空间，解决细粒度共享专家 MoE 的探索困境并稳定涨点
📌 工作参考价值（4 点）
- 若服务链路使用 DeepSeek/Qwen3 等 MoE 基座做 embedding、生成式推荐或 Agent 策略，当启用或调大 fine-grained top-k 时，不要假设 shared experts 一定带来收益；可先做单 expert 消融或随机路由诊断，确认 shared experts 是否主导输出并压制路由探索。
- 训练阶段可采用 MirrorMoE 式“选择分布与聚合分布分离”：用镜像 logits 选专家，用原始 logits 权重聚合，再把 rho 从 0.4 cosine 退火到 0；工程实现只需额外一次 softmax 和符号翻转，训练成本几乎不增。
- 负载均衡 loss 应加在实际贡献概率 xi 上，而不是选择概率 p 上；当低权重专家被激活但几乎不贡献时，这种设计能避免均衡目标误导路由，可迁移到多兴趣/多任务 MoE 推荐模型。
- 若模型不含 shared experts，MirrorMoE 提升有限；不要盲目上该 trick，应优先用于 shared-expert + 较大 K 的配置，并在增大 K 时重点观察是否出现“K 涨指标不涨甚至下降”的探索困境。
超越专家排序：混合精度 MoE 量化的对比校准
🧭 MoE 混合精度量化与敏感度校准 ★ 深度解读
Nanjing University of Posts and Telecommunications · Tylogi AI Lab / TAIL · Southeast University · Microsoft · University of Cambridge
NatScale 用对称 KL 目标校准专家敏感度对比度，在固定存储预算下提升 MoE 量化保真度
📌 工作参考价值（4 点）
- 部署 MoE 大模型（如生成式推荐、精排 reranker、Agent 策略模型）做混合精度量化时，不要只看专家重要性排序：用 power transformation 校准敏感度对比度，可将不同层/模型放在共同信息尺度上，默认 τ=1 nat 是无调参的实用起点。
- 工程实现上把 joint gate/up/down 误差、结构化先验和校准权重解耦并预缓存，之后扫预算或 τ 只需重跑线性规划分配器，无需额外前向/反向，适合线上反复调整内存配额。
- 分配单元下探到 expert 内部 projection，而不是整层统一精度，可在同层内差异化 bit-width，压缩比与效果更优；电商推荐模型若含 MoE 或专家模块可沿用同一思路。
- 注意 PPL 与 native KLD 可能偏好不同 τ：若目标是输出分布对齐（如广告创意生成、query 改写），优先看 KLD/Top1 而不是 PPL。
解释 MoE 大语言模型在个性化中的专家角色
🧭 MoE LLM 个性化与可解释性
University of Copenhagen
用 MoE LLM 做个性化并通过 crosscoder 定位可解释个性化 latent 与专家路由，验证其因果作用
📌 工作参考价值（4 点）
- 可尝试把个性化底座从 dense LLM 换成 MoE LLM：论文显示 MoE 个性化性能与 dense 有竞争力，但只激活一小部分参数，适合电商/广告等对推理成本敏感的场景；在线服务时稀疏路由也能降低尾部延迟。
- 用 crosscoder 对「个性化前后模型」的成对激活学习可解释 latent，能直接定位哪些专家在编码个性化特征。业务上可以用类似方法做个性化模块审计，找出哪些专家/层负责特定用户群偏好，便于后续剪枝、蒸馏或加约束。
- 文中通过 boosting 相关专家让非个性化模型向个性化模型靠拢，说明个性化行为有可操控的专家路由路径。可以借鉴为「可控个性化开关」：对某些用户群或场景，只强化对应专家，避免全量微调或 prompt 注入。
- MoE 降低 polysemanticity 的结论提示：如果线上模型需要更强的可解释性、便于合规审查（如推荐理由、广告定向），选择稀疏架构比 dense 更容易解耦特征。
LatentLoop：非对称计算分配的循环 MoE 模型规模化
🧭 循环 MoE 训练 · 非对称计算分配
SJTU · Shanghai AI Lab · USTC · CUHK · NTU
提出 LatentLoop，压缩首轮循环序列、保留次轮全分辨率，将省下算力重分配给隐藏宽度，在相同预算下降低 NLL 并提升下游基准
📌 工作参考价值（4 点）
- 在用户行为序列建模中，可借鉴 LatentLoop 的非对称计算分配：对长序列第一轮使用压缩表示（如 latent 投影或 token 合并），第二轮保留全分辨率，并将节省的 FLOPs 转向加宽 hidden size，而非直接降低延迟；这可在相同推理预算下提升模型质量。
- 用可学习残差系数诊断循环 Transformer 各次访问的贡献，识别可压缩的浅层/首轮访问，指导剪枝或低精度量化；固定系数实验结论“首轮可压缩、次轮不可压缩”可作为先验。
- 在 MoE 推荐/广告模型中，专家 FFN 权重可跨不同序列分辨率共享，但 attention 参数应独立，以适应压缩后序列与全分辨率序列的差异；这比全共享更细粒度，利于多尺度特征融合。
- 面向资源受限的线上推理，可先对输入序列做低秩/降采样压缩并分配给第一层，保留关键的后期层高分辨率，配合专家共享减少参数和 FLOPs；这比均匀缩放更有效，有潜力用于生成式推荐的大模型加速。
虚拟头注意力：线性重参数化实现双重 KV 压缩与质量提升
🧭 长上下文 LLM · 注意力重参数化 ★ 深度解读
Baidu Inc. · Peking University
通过 Q Premix 与 Linear Postmix 将训练后模型吸收为标准 GQA-2，实现 KV cache 4 倍压缩、训练 FLOPs 下降且质量提升
📌 工作参考价值（4 点）
- 线上长序列生成式推荐/Agent 工具调用受 KV cache 限制时，可参考 VHA：训练时加入线性头间混合，推理时重新参数化为标准 GQA-2，无需改推理框架；已有 GQA-8 服务可尝试降到 2 个 KV heads 并配合 Premix/Postmix，保持质量同时降低 4 倍缓存。
- (I+BA^T) 低秩 identity-residual 结构可迁移到多场景/多任务序列建模的输出融合，低秩约束提供隐式正则化，防止跨 head 混合过拟合；电商多业务场景可用其做 soft routing 而非共享 attention。
- Premix 的 per-group query transform 能实现 group-conditioned query specialization，在用户长期行为序列中根据不同 KV group 学习不同查询方向，不增加缓存即提升注意力多样性。
- 消融显示单纯 halve heads 会损失质量，必须同时在 query 侧做虚拟扩展、在输出侧做跨组融合；如果要在推荐模型中压缩 attention 头数，应同时设计两侧补偿，缺一不可。
多流注意力残差
🧭 高效 LLM 预训练 · 深度残差架构
School of AI, Shanghai Jiao Tong University · Shanghai Innovation Institute · Dots Studio, Xiaohongshu Inc. · School of CS, Peking University
将单流深度注意力残差扩展为多流深度注意力，通过多尺度因果卷积生成多样化上下文视图，在 MoE 大模型上取得 1.58 倍预训练加速
📌 工作参考价值（4 点）
- 若业务需要自研或微调大模型作为排序/召回/Agent 底座，可评估用 MSAR 替换标准残差连接：保持单流存储、按需扩展多流深度检索，iso-loss 预训练加速 1.58×，对 MoE 架构尤其明显。
- 多尺度因果卷积生成不同上下文视图的思路可迁移到用户行为序列建模：使用不同 kernel size 的因果卷积提取短期点击、中期会话、长期兴趣等多时间尺度表示，再通过自适应混合融合，增强序列建模能力。
- 轻量自适应混合多个检索流的机制，可作为推荐模型中多兴趣/多视图融合的替代方案：避免显式维护多流表示和通信开销，降低工程实现复杂度。
- 需注意该工作验证于 18B/28B 大规模 MoE 语言模型预训练，直接搬到电商推荐的小模型或非 Transformer 结构收益未知；引入多流机制可能增加调试复杂度，建议先在离线评测中验证深度特征稀释问题是否真实存在。
SAIL：通过科学感知循环实现科学智能体智能
🧭 科学智能体训练循环
IQuest Research
35B总参/3B激活的开源科学智能体，用失败诊断自动生成训练任务，性能媲美更大模型
📌 工作参考价值（4 点）
- 业务 Agent 失败诊断闭环：用强模型分析业务 Agent 的失败 case，定位是检索证据选择、规划修订还是工具调用能力不足，再基于业务知识库自动生成带交互轨迹和可执行环境的训练样本，比人工标注更可规模化。
- 小模型逼近大 Agent 能力的训练组合：先做子能力 specialist SFT（如 query 改写、搜索结果筛选），再用多个 frontier model 做多教师 on-policy 蒸馏，最后接入 Agentic RL。适合电商/搜索推荐场景下用低成本模型达到大模型 Agent 效果。
- MoE 架构降低推理成本：35B 总参 / 3B 激活的设计在保持推理低延迟的同时提升多任务能力，对需要实时响应的搜索推荐 Agent 有直接参考价值。
- 搜索型任务重点优化证据选择：论文发现文献任务失败主要来自证据选择，提示可以在搜索推荐 Agent 中显式构造 query 改写、召回结果排序、引用证据一致性等训练数据，而非只依赖端到端生成。
MiMo-V2.6：面向自我改进的大规模强化学习训练
🧭 大规模强化学习训练与 Agentic RL 基础设施 ★ 深度解读
LLM-Core Xiaomi
通过扩展 RL 训练计算、任务环境与 grader 计算，在代码/通用/视觉/安全任务上稳定提升 1T 与 310B MoE 模型。
📌 工作参考价值（3 点）
- 防 reward hacking 的工程闭环可迁移到推荐/广告 RL 训练：环境清理（去缓存、隔离网络）、hack agent 对抗探测、训练中离线审计 + 作弊轨迹奖励清零，把 hack 率控制在 2% 以下，适合在线学习/探索场景。
- Groupwise advantage redistribution 思路可用于推荐模型基于 listwise/groupwise 反馈的训练：在 batch 内按质量因子对正样本重新分配 advantage，既保留成功样本梯度又惩罚低质量转化/刷指标行为，避免模型学到投机式优化。
- 大模型 RL 基础设施设计值得参考：统一 trajectory 表示、control/data plane 解耦、partial rollout + Sample Mixer 稳定多任务 batch 组成、冻结 MoE router 保证训练稳定；这些对大规模生成式推荐/Agent 在线更新有直接工程价值。
一个模型循环所有层：语言模型的弹性潜在循环
🧭 LLM 弹性深度与循环推理降本 ★ 深度解读
NVIDIA
通过 adaptive-delta 更新与 rank override 混合深度训练，循环 LLM 在 1 loop 不损精度并随 loop 增长持续提分
📌 工作参考价值（5 点）
- 单模型多档线上服务：ELR 提供一个 checkpoint 通过 loop count 旋钮控制精度/延迟，可替代为不同 latency tier 维护多个模型；在电商搜索、广告文案生成、Agent 长 rollout 等场景可直接按流量层级切换 1-4 loop，无需重训或增加参数。
- 低成本接入循环 LLM：延迟混合深度训练只在最后 25% token 开启，训练 FLOPs 仅约 +16%；已有非循环模型可通过 continuation 方式获得弹性深度，比从头训练循环模型更划算。
- MoE 推理优化技巧：cross-loop route replay 复用首 loop 专家路由，训练 update time 降低 11.7%，推理 forward 降低 1.2% 且精度几乎不变；对于电商大规模 MoE 模型，这是降低反复 router 计算的直接可抄方案。
- KV cache 与生成成本：last-loop KV caching 让 attention KV 显存保持 1-loop 水平，同时保留大部分深度收益；高 loop 还会缩短生成 tokens，适合长上下文 Agent/多轮对话降低显存与耗时。
- 避免 one-loop tax 的关键：必须用 adaptive-delta 更新和 within-step rank override 混合 1-loop 与多 loop 梯度；纯 synchronized sampling 或加权采样无法保住 1-loop 精度，做循环化改造时要避免直接沿用 Huginn 式训练。
BRANCH-MoE：面向大规模嵌入模型的平衡感知树路由
🧭 MoE 树形路由与负载均衡 ★ 深度解读
Google Research · University of Southern California
提出将专家置于二叉树叶节点的BRANCH-MoE，用到达加权EMA锚点在没有辅助损失的情况下保持负载均衡并诱导共路由局部性
📌 工作参考价值（4 点）
- 在大规模 CTR/推荐模型中用 MoE 做稀疏专家时，可把 flat top-K 门控换成树形路由：每个内部节点用到达加权均值做 score 中心化（训练用 batch 均值，推理用 EMA），可省掉 auxiliary load-balancing loss 及其调参，同时降低子树饿死风险。
- 树路径天然给出专家二进制地址，可按 prefix 把专家/embedding 分配到设备或参数服务器域；推理时可依据上层 margin 预判是否跨域通信，降低 token 分发成本，适合多级缓存/分片的大规模稀疏 embedding 部署。
- 工程实现上：线性 node map 的树结构局部性最强（UCI 上树距离 0.71 vs 随机 0.817）；换成 MLP 会削弱局部性并提高 load CV，需在目标数据上验证。对输入特征要避免稀有二值列被 z-score 放大成巨大 spike，否则会诱导专家 collapse（Covertype 上需 pin 低方差列）。
- 该方法无辅助损失即可均衡负载，但 Criteo 上 load CV 高于 flat 方法（0.115 vs ≤0.006）；若业务对 per-batch 均衡极敏感，可能仍需要 capacity factor 或调度兜底。
Rollout 引导的 MoE LLM 强化学习 FP4 量化感知训练框架
🧭 低精度 rollout 加速 MoE LLM 强化学习训练
Alibaba Token Hub, Alibaba Group · Ohio State University
提出 TRACE，通过 rollout 侧量化结果引导训练侧 FP4 舍入，实现 FP4 rollout 与 BF16 性能相当并最高加速 5.4 倍
📌 工作参考价值（4 点）
- 在 RL 调 LLM 推荐/搜索 Agent 或生成式 ranker 时，rollout 阶段是主要算力瓶颈，可尝试 FP4 权重/激活 + FP4 KV cache 联合做 rollout；TRACE 表明可与 BF16 rollout 获得相近的最终策略质量。
- 避免直接用离线 PTQ 量化 BF16 训练好的策略：把 rollout 侧实际量化噪声（舍入结果、scale）作为监督信号引入训练侧 QAT，能显著改善最终 FP4 策略性能，比事后量化更可靠。
- 工程上可借鉴 selective quantization-info caching：只缓存深层 mantissa/scale，降低多 GPU 或分布式 rollout worker 间的存储与通信开销，对 MoE 或超大 LLM 生成服务有直接参考。
- 低精度 rollout 最高 5.4 倍加速意味着相同算力下可大幅增加采样轨迹数量，适合需要大量探索的 query 推荐、对话式推荐 Agent 等 RL 训练场景。
稀疏概率图如何影响 MoE 路由训练行为
🧭 MoE 路由 · 稀疏概率图训练行为 ★ 深度解读
Técnico, Universidade de Lisboa · INESC-ID · Instituto de Telecomunicações · ELLIS Unit Lisbon · Gandara AI
通过可控实验揭示稀疏概率图的零输出能力不会自动带来 token 级专家参与，参与由阈值与 learned score 分布共同决定
📌 工作参考价值（4 点）
- 若线上大模型采用 MoE，不要指望单独换用 sparse map 实现动态专家数；必须同时控制 router score scale（如学习 temperature 或显式正则化），否则稀疏图可能在训练后回到稠密行为。
- 推理阶段弹性专家预算：sparsemax 等稀疏图在 K 从 2 增到 8 时几乎不增加 loss（0.02 nats vs softmax 0.58），适合电商在线服务根据负载动态调整专家数而不显著损害效果。
- 负载均衡目标需适配 sparse map：使用 full probabilities 时零概率专家得不到平衡梯度，建议在 sparse map 下测试不同的 auxiliary probability（如 softmax 概率）或损失权重，实际效果不一定改善，需要验证。
- 评估路由时区分 nominal load 与 contributor load，后者剔除零权重 filler，更能反映真实计算分布；normmax 名义负载均匀但实际 contributor load 明显不平衡，工程实现应统计 contributor load 而非 nominal load。
分布鲁棒的混合专家训练
🧭 MoE训练 · 分布鲁棒优化 ★ 深度解读
New York University
提出DRMoET，将MoE专家作为内生DRO组，动态加权高损失路由结果，提升路由鲁棒性和下游性能
📌 工作参考价值（4 点）
- 在电商/广告的大规模MoE推荐模型中，可在现有负载均衡之外引入DRMoET式的专家级损失加权：用EMA平滑的激活加权损失动态调整每个专家的训练权重，无需修改前向路由，即可提升非热门专家在流量波动或分布偏移时的表现，降低线上指标抖动。
- 将「内生组DRO」思想迁移到多任务学习或用户分群：不依赖预定义分组，而是根据模型当前的路由/分配结果动态识别高损失子群，进行针对性加权，比固定分组更适应数据分布变化。
- 工程实现上，该方法只需维护每层专家数的EMA状态和权重（O(LE)标量），计算开销可忽略，且权重detach避免干扰主损失；可低成本部署到现有训练框架，作为对load-balancing的补充。
- 用forced misrouting probe（强制选择中位专家）评估模型对非最优路由的鲁棒性，可作为线上路由策略变更前的离线诊断工具。
面向 Agentic 强化学习的 MoE 专家选择结构化
🧭 Agent RL · MoE 专家路由控制 ★ 深度解读
Apple · Purdue University
提出分层路由控制框架，用操作感知互信息与令牌级一致性约束，提升 Agentic RL 成功率与推理吞吐
📌 工作参考价值（3 点）
- MoE 专家选择可以用 agent 轨迹中的 operation 语义（READ/CREATE/UPDATE）做监督，电商搜索/推荐 agent 也可以按意图或工具类别进行专家对齐，提升长程任务成功率和推理速度。
- token 级一致性控制用“相邻 top-k 专家集 Jaccard 距离阈值”选择性回拉，比强制统一更稳定；可搬进多轮 search/agent rollout 中降低专家切换开销、提高吞吐。
- 添加辅助路由 loss 容易引发 RL 训练崩溃，可用 policy entropy 高低门控关闭路由梯度；这个工程 trick 对 MoE 后训练很实用。
面向 Decoder-only MoE 模型的跨语言路由器对齐方法
🧭 跨语言 MoE 路由器对齐 ★ 深度解读
University of California, Los Angeles · Haverford College · MILA - Quebec AI Institute · McGill University
用 MoE router 输出的均值池化作为序列级跨语言对齐目标，在解码器模型中实现显式对齐并提升多语种表现
📌 工作参考价值（4 点）
- 在跨境电商/搜索的多语言 MoE 模型中，可用平行语料（商品标题、query 翻译对、广告文案对）对中间层 MoE router 的 mean-pooled 分布做 KL 对齐；这比 mean-pooled hidden states 更稳定，且无需 token 级对齐，适合短文本与低资源语言。辅助 loss 梯度只走目标语言，source 侧不更新。
- 工程实现建议采用 packed 共享前向 + 源序列早退：把 source/target 拼在一起做变长 attention，source token 在最后一个对齐层后停止计算，可省去 padded 双重前向；α 初值可设为让 α·L_XLR ≈ L_LM，再邻近搜索。
- 对齐层不要全选，用 cross-lingual routing divergence 曲线选「已经共享专家」的中间层，避免在输入/输出语言特异层强行对齐；对齐后隐藏表征 SoftCKA 会跟随提升，说明 router 分布可当轻量内部监控指标。
- 若只能做参数高效微调，router-only（<0.1% 参数）可作低资源语种适配尝试，但结果 noise 较大，不应替代全参训练；核心收益来自给 routers 提供更好 hidden states。
在多模态MoE中利用领域专家实现高效适配
🧭 MoE领域专家选择与高效适配
California Institute of Technology
发现多模态MoE专家自发语义专精，ExpertLens解码路由权重定位专家并选择性微调，仅更新21.7-47%参数达4倍加速
📌 工作参考价值（3 点）
- 对已有的多模态 MoE backbone（商品图/文、视频、广告创意理解等），可直接复用 ExpertLens 思路：无需新增标注数据，从 router 权重解码出与目标域相关的专家，再做选择性微调；比全参微调便宜、比 LoRA 更稳，适合电商域迁移（如从通用视觉语言模型适配到美妆/3C 商品理解）。
- 在需要频繁接入新业务/新类目的推荐与广告系统中，可把“专家定位—选择性更新”作为增量适配流程：只更新约 1/4~1/2 参数，训练加速约 4 倍，节省 GPU 成本，同时保持旧任务能力。
- 当标签稀缺或受隐私限制时，这种 data-free 的专家识别可先于标注构建领域路由，后续再小样本微调；对搜索词改写、商品属性抽取、多模态 embeddings 等任务具有工程可行性。
循环混合专家模型的联合缩放定律
🧭 循环 MoE 联合缩放定律 ★ 深度解读
Meta AI
提出首个联合建模循环深度与 MoE 稀疏度的缩放定律，用于资源约束下最优循环 MoE 设计
📌 工作参考价值（4 点）
- 在推荐/广告场景部署 LLM ranker 或 copy 生成模型时，可借鉴循环 MoE：固定 active 参数下提高 R 换取 reasoning 能力，稀疏度 E 换取总体知识覆盖；按 latency/显存预算联合调 R 和 E，而不是简单增大 dense 参数。
- 若有训练 scaling law 拟合能力，可仿照论文用小规模 (Nact,D,E,R) sweep 拟合含稀疏度条件的 Neff(R,m)，预估不同 FLOPs/内存下配置的 loss，指导模型 ladder 选型；低内存设备优先高 R 低 E，富内存场景优先高 E 低 R。
- 循环模型天然支持 test-time scaling：同一 checkpoint 只改 R 即可从低算力到高算力平滑提升效果（案例中 R 1→5 提升 Overall +10.3），适合推荐系夜间批量生成与在线高 QPS 弹性推理。
- 工程实现采用 middle-block looping：只循环中间层，前两层和后两层不共享，配合逐层监督可让同一模型在多个 R 下可评测；注意全反向传播计算与 unroll 参数成正比，可用 early exit 减少无效深循环。
如何循环 MoE：摊平专家层、解开注意力
🧭 Looped MoE 架构训练与专家路由 ★ 深度解读
Case Western Reserve University · Kyoto University · NII LLMC
Foil 在固定专家参数与每 token 计算下，通过摊平专家层并给每次循环独立注意力，提升 looped MoE 预训练与路由健康度
📌 工作参考价值（4 点）
- 在固定 expert 参数和每 token 计算预算下，优先采用“浅而宽 + 多轮循环”的 recurrent core，而不是深而窄：把现有 MoE 层合并到更少层、增加每层 expert 数并循环更多次，同等成本通常能拿到更低 LM loss 和更健康路由。
- 循环 block 中不要全程共享 attention：给每个 loop pass 单独 attention 参数，experts/router 继续共享；这几乎不增加推理 compute，但能恢复摊平时丢掉的 attention 参数，训练损失和 zero-shot 均更优。
- 监控 MoE 路由不能只看 load balance：可加 MMR（router 第一名 vs 池中位数概率比）和 per-pass MMR peak；MMR 见顶后继续 flatten/循环收益最弱，适合做架构搜索早停或上线前诊断。
- 做小规模架构 ablation 时，可先用 tied attention 探索循环轮数，因为加 passes 不增加参数；但最终生产配置应切换为 per-pass attention。低流量 expert 不等于无用，不要仅按流量直接裁剪。
精确分位数平衡与负载误差注入用于混合专家模型
🧭 MoE 训练负载均衡优化
Aleph Alpha
提出 EQB 精确全局分位数计算和 LEI 局部负载误差梯度注入，提升 MoE 训练平衡与质量
📌 工作参考价值（4 点）
- 若自研大规模 MoE 推荐/排序模型，可借鉴 EQB：用两次 256-bin all-reduce 的 BF16 radix selection 计算精确全局分位数，替代 rank-local 平均近似，消除数据划分偏差，通信开销可忽略。
- 局部负载均衡可尝试 LEI：把局部负载误差直接注入 router-score 梯度，替代 GShard 辅助 loss，在保证模型质量的同时改善 expert-parallel microbatch 级均衡，降低计算 skew。
- 训练 MoE 时将全局平衡与局部平衡解耦处理：仅全局平衡可能掩盖 microbatch 级偏斜，导致 EP 效率下降；应同时监控并优化两个层级。
- 对于已有 MoE 推理服务，若发现某些 expert 过载，可参考该工作的平衡机制思路，通过微调 router 偏差或梯度注入来优化负载分布。
Rufus-Air：开源 LLM 后训练配方
🧭 LLM 后训练全流程配方 ★ 深度解读
Amazon
公开 GLM-4.5-Air-Base 的完整后训练配方，以难度过滤和奖励可靠性排序驱动 8 阶段训练，显著超越官方 release
📌 工作参考价值（4 点）
- SFT 配比看 token 而非 sample：长轨迹类别（Math、Coding Agent）在 sample 占比不高但贡献近半训练 token。业务上做生成式模型 SFT 时，应按 loss-contributing tokens 评估数据配比，避免被 sample count 误导。
- 难度过滤作为自动课程：RL 阶段统一剔除“已解决”和“不可学”的 prompt，只保留策略当前可进步的区间，随策略提升自动滚动。此思路可直接用于电商文案生成、query 改写、Agent 工具调用的 RL 训练，减少无效 rollout 和梯度噪声。
- 按奖励可靠性排阶段：先跑可验证奖励（规则、执行测试），后跑 judge/model-based 奖励，缩短奖励被 hack 的暴露时间。多阶段 RLHF 或对齐训练时，可借鉴该顺序，把 IF 类接近已有能力的软奖励提前，把开放偏好奖励放最后。
- 基础设施也是配方：统一 chat template、token-in/token-out rollouts、Rollout Routing Replay、可靠 sandbox 服务对 MoE 稳定训练至关重要。搭建内部 RL 框架时，这些工程细节应作为一等公民，而非实现细节。
HySparse2：两级 KV 共享的混合稀疏注意力
🧭 长上下文高效稀疏注意力与 KV 共享 ★ 深度解读
Xiaomi LLM-Core
通过两级 KV 共享使 prefill 只跑一半模型，同时提升长上下文检索并降低 KV 缓存
📌 工作参考价值（4 点）
- 在电商/搜索 Agent 场景，工具返回长文本、多轮会话累积导致 prefill 成为主要延迟；可借鉴 self-decoder/cross-decoder 分离：prefill 只执行 self-decoder（约半模型），cross-decoder 的 full-attention KV 由 self-decoder hidden states 投影生成。在 prefill-decode disaggregation 下，prefill 节点只需部署一半权重，显存和算力直接减半。
- 稀疏注意力选择粒度很关键：对多轮 Agent 轨迹、检索历史，token-level top-k 明显优于 block-level（RULER-v2 +6.57、2-needle MRCR-v2 +8.14、GraphWalks +5.55）。如果业务正在用 block sparse 做长上下文召回或会话压缩，且 token-level kernel 可用，应尽早切换；至少在检索关键层保留 token-level。
- 强制最近窗口进入稀疏选择，可以替代单独的 SWA 分支：省掉额外投影参数、局部 KV cache 和级联依赖，使 early exit prefill 成为可能。对需要保留最近会话/商品浏览状态的推荐 Agent，固定保留最近 128 token 是低成本且有效的局部建模。
- KV Bridging 只在 full-attention 层间连接，保留独立投影但共享 source hidden，可以在几乎不损失质量的前提下压缩 KV cache（1M 时 2.69GB vs 6.72GB/12.09GB）。对超长上下文电商 Agent，可考虑用跨层 KV 共享替代或叠加量化压缩。
腾讯混元 A13B 技术报告：80B 总参、13B 激活的 MoE 高效 LLM
🧭 高效 MoE LLM 与双模式 CoT 训练 ★ 深度解读
Tencent Hunyuan Team
开源 80B/13B 激活 MoE，通过双模式 CoT 与强化学习在推理和 Agent 任务上逼近更大模型且吞吐更高
📌 工作参考价值（4 点）
- 双模式 CoT 可用于生产级 LLM 路由：/no think 适合商品问答、摘要、搜索 query 理解、自动补全等高 QPS 低复杂度场景；/think 适合购物导购规划、广告投放策略、深度搜索等复杂 Agent 任务。可按 query 复杂度、用户延迟预算或任务类型做策略路由，省 token 降延迟。
- Agent 数据构造方法可直接迁移：多角色合成引擎（user/planner/tool/agent/checker）+ 沙箱/MCP/合成工具 + 30 类系统指令 + 20K 格式组合，能低成本生成多样化工具调用数据；再针对高频任务（Excel 处理、深度搜索）做增强，适合电商购物助手、广告 Agent、搜索 Agent 的 SFT 数据 pipeline。
- Agent RL 奖励设计值得复用：格式奖励（特殊标记与顺序正确给 1）+ 正确性奖励（tool/parameter/value 一致性）能稳定训练工具调用；对推荐/广告投放的 API 调用、商品搜索参数解析等可定义可验证奖励，再叠加 sandbox 或执行反馈做 RL。
- MoE 推理部署配置可作为选型参考：80B 总参、13B 激活，配 GQA、Expert Parallel、FusedMoE，支持 vLLM/SGLang/TensorRT-LLM 与 INT8/W8A8/KV Cache FP8，batch 32 约 1982 tokens/s；对实时推荐/Agent 场景，快思考模式 + 量化可显著降低推理成本。
IntBMoE：块级条件专家组合的全参与 MoE
🧭 MoE 架构 · 块级专家组合 ★ 深度解读
DreamX, Alibaba Group
用代码本+超网络预组合全量专家，解耦参与/执行/物化，AMap 线上 UVCTR +2.4%
📌 工作参考价值（4 点）
- 面向 60ms 级延迟预算的生成式推荐/广告召回，可复用「输入无关代码本 + hypernetwork 预组合专家 + 缓存块参数」方案：训练时按 batch 摊销组合成本，推理前一次性预计算 composed blocks，请求期只执行 Top-k 块，专家池大小 E 不再直接影响线上 FLOPs。
- DPRG 是低成本增强专家交互的 trick：对同一组 expert bases 组合 value path 和 gate path，gate 用 RMSNorm+SiLU 做乘法 residual 调制，不扩大专家数即可增加非线性；适合替换现有多专家融合中的简单加权或 convex combination。
- block-conditioned feature filter 可将 token/用户表示与 block code 拼接，再生成 sigmoid 软掩码，给不同专家块提供不同输入视图；可借鉴到多兴趣召回、多场景建模中的软过滤门控。
- 组合系数不做 softmax/sigmoid，保留负值并加 1/√E 缩放，是提升组合表达范围的实用做法；业务上做 expert fusion 时可尝试替代标准归一化系数。
DeepSeek-V4.1-Flash：极限压缩KV缓存的长上下文多模态MoE
🧭 Agent推理优化 · KV缓存压缩 ★ 深度解读
DeepSeek-AI
通过跨层KV复用、FP4量化与SWA有界重放，将每token全局KV缓存降至890字节，实现近恒定decode成本
📌 工作参考价值（4 点）
- KV缓存压缩方案可直接迁移：跨层复用全局KV与Top-K索引（CSA2的Full/Reindex/Reuse三模式）可大幅降低长上下文Agent的内存占用，尤其适合电商多轮对话、工具调用频繁的场景，可将持久化KV缓存缩小至1/8。
- CED架构适合输入重的工作负载：prefill阶段仅激活前一半层（8B参数），对输入token极多的场景（如商品详情+用户行为序列拼接）能显著降低首token延迟，可借鉴其非对称激活设计。
- SWA Bounded Replay的工程取舍：用近似的窗口重放替代精确重建SWA KV，仅需重放最近n_win个token，就能免去持久化SWA缓存，节省SSD和主机内存，适合在线推荐系统中高频短会话的上下文管理。
- FP4量化用于KV缓存而非matmul：对KV cache做训练时量化（QAT）可安全使用FP4精度，仅存储减半而不依赖硬件原生FP4矩阵乘支持，可复用到现有推理引擎，降低HBM压力。
MoE 语言模型中专家的高阶剪枝
🧭 MoE 专家剪枝 · 二阶交互建模 ★ 深度解读
AWS Agentic AI · AI Fundamental Research
提出 HOPE 二阶专家剪枝，考虑专家协同交互，显著优于一阶方法，在高剪枝率及 Agent 任务上优势更大
📌 工作参考价值（4 点）
- 对业务中部署的大规模 MoE 推荐/排序模型，可参考 HOPE 的交互矩阵思路，在专家剪枝时不仅看单个专家的激活/输出贡献，而是记录 pair 共激活的乘积，构建 F 矩阵并解 QP；工程实现轻量，校准开销仅增加 6-7%，QP 每层 1-2 秒。
- 剪枝校准集需匹配目标场景：HOPE 在 coding/agentic 校准集上表现不同，建议按业务流量（搜索、推荐、广告）分别采集校准数据，避免跨域剪枝性能损失。
- HOPE 保留的专家组具有高协同评分，剪枝后模型可作为 downstream SFT 起点且优势持续，适合在业务中先剪枝再微调以进一步恢复/提升效果。
- 高剪枝率（40-50%）释放内存最多，正是部署价值最大的区间，此时二阶交互优势最显著；若业务需要极限压缩，应优先采用二阶剪枝而非简单一阶方法。
无限参数LLM：从实时数据生成并适应权重
🧭 超网络生成 LLM 权重 · 在线贝叶斯更新
Boltzbit Limited · University of Cambridge
用超网络从实时交互数据动态生成低秩权重，并以贝叶斯在线更新实现会话内持续适应
📌 工作参考价值（4 点）
- 在长会话 Agent 或客服场景中，将用户实时提供的纠错、偏好、事实等写入模型权重而非每次拼进 prompt，可减少重复 token 开销、释放上下文窗口，并让知识跨轮次持久化。
- 借鉴超网络生成低秩调制权重的思想，在推荐系统中用超网络根据用户/物品特征动态生成个性化 adapter 或 FFN 权重，实现参数高效的动态用户建模，避免为每个用户存储大量个性化参数。
- 采用贝叶斯在线更新 latent code 的方式维护用户或场景的隐状态，使模型行为随交互逐步调整，适合多轮推荐、动态创意生成等需要连续适应的任务。
- 评估时设计对比 in-context learning 和 retrieval 的协议，重点考察权重化知识是否在计算摊销、泛化、持久性上优于 prompt 方案，业务上可作为在线学习方案的验证框架。
内存墙的另一半：用训练的路由预测从 SSD 服务 35B MoE
🧭 LLM 推理优化 · SSD offloading
AutoArk
Edge0 用下一层路由预测实现 SSD 流式加载专家权重，在单 24GB 卡上以 20 tok/s 服务 35B MoE，质量接近 fp16 教师
📌 工作参考价值（3 点）
- 在资源受限的单卡环境部署 LLM 推荐/Agent 时，可采用 SSD offload + 路由预测预取：只加载预测命中的专家，用下一 token 的路由预测提前发起 I/O，隐藏磁盘延迟，降低峰值显存。
- 量化部署大模型时，可用未合并的 recovery LoRA 在量化后的 student path 上训练，补偿 int4 量化与路由替换带来的质量损失，推理时只增加极小的 adapter 计算，适合线上低时延场景。
- 路由预测思想可迁移到 Agent 多步推理或生成式推荐流水线：预测下一步需要的模型/数据组件并提前加载，减少串行等待，提升吞吐。
抹平长上下文 MoE 训练的所有显存峰值
🧭 长上下文 MoE 训练显存优化
Salesforce AI Research
针对长上下文 MoE 训练四大显存瓶颈提出四种精确调度，将 120B-667B 模型训练扩展到 1M 上下文，吞吐最高提升 10.4 倍
📌 工作参考价值（4 点）
- 若在业务中训练长上下文 MoE（如融合用户长期行为序列、Agent 记忆的推荐/广告模型），优先采用固定 GPU working set 的调度思路，而不是只看平均显存；PipelinedLLEP 与 Ring-DTP 都能在不改精度下显著压峰值。
- OffloadStreamAdamW 将 CPU optimizer offload 的串行 Adam 改为 bucket 流水线，能直接加速大规模 embedding/排序模型训练中的 offload 更新；若你已用 CPU offload 放优化器状态，可参照其分桶流水实现。
- SCO 只把 checkpoint 边界最占显存的长生命周期张量 offload 到 CPU，适合处理用户长序列的生成式推荐/Agent 轨迹训练，能在基本不增加复杂度的前提下扩大 context 长度。
- 这些方法只改变执行顺序和搬运粒度，梯度与 loss 严格一致，便于在 FSDP/Megatron 等框架上增量实现，风险低。
SeqMoE：预测式与图兼容 MoE 卸载实现近满载性能
🧭 MoE 推理卸载 · 预测式专家预取
University of Science and Technology of China · Suzhou Institute for Advanced Research, University of Science and Technology of China
通过序列建模预测专家激活，结合联合预取调度与图兼容运行时，实现 45% 常留下 96.97% 命中率和 80.22% 满载性能
📌 工作参考价值（4 点）
- 若业务使用 MoE 架构 LLM（如 Mixtral、DeepSeek-MoE）做 query 改写、文案生成或 Agent 工具编排，可参考 SeqMoE 的专家激活序列预测：只让约 45% 的 expert 常驻显存，仍能获得约 80% 的 full-load 性能，适合在显存受限 GPU 上部署大规模 MoE 推理服务。
- 将“下一步需要加载哪些 expert”建模为序列预测问题，类似推荐中的 next-item prediction，可以用轻量 decoder 输出多步、多层的 expert ID 序列，比按层独立 LRU 更精准，能直接迁移到 LLM serving 的预取模块。
- 联合预取调度可形式化为 Job Sequencing with Deadlines：把 PCIe/NVLink 带宽作为约束、各 token 的 expert 需求作为 deadline，统一调度一批请求的 expert 加载，能显著提升带宽利用率；在 Continuous Batching 场景下可以复用这一思想。
- 图兼容 runtime 的做法值得工程实现借鉴：将 expert 放置与计算解耦，避免预取引入依赖同步，从而能用 CUDA Graph 捕获端到端执行路径，减少 kernel launch overhead；不过动态 MoE routing 会加大图捕获复杂度，需在 serving 框架里做静态化或部分捕获。
MoE 强化学习中的专家空间探索方法 ESRL
🧭 MoE LLM 强化学习 · 专家路由空间探索 ★ 深度解读
Tsinghua University · Microsoft Research
通过扰动专家路由、锚定高置信专家并重放路径，在 MoE LLM 的 RL 训练中实现安全的架构级探索，提升推理性能
📌 工作参考价值（4 点）
- MoE 生成式推荐/Agent 策略训练可迁移：若用 MoE LLM 作为生成式推荐（如 Semantic ID 生成、query 改写）或 Agent 策略网络，在 RL/在线学习阶段可将 expert routing 作为额外探索维度，通过扰动 router logits 提升轨迹多样性，缓解策略收敛后 rollout 多样性下降、优势信号变弱的问题。
- 锚定专家采样控制探索质量：不要对全部专家加噪声，而是保留 top-K 中的高置信专家作为锚点，只从候选池中随机探索剩余专家；聚合权重仍使用原始 logits。这一 trick 能防止随机路由到不合适的专家导致生成质量崩塌，对搜索/推荐场景中的生成质量稳定性尤其重要。
- 路由重放（Rollout Routing Replay）保障 rollout 与训练一致：在在线学习或 RL 训练中，记录 rollout 时实际激活的专家路径，优化阶段绕过 Top-K 直接复用该路径，避免因重计算路由导致探索到的专家未参与梯度更新。该方法与业务中常见的 MoE 在线学习/增量训练场景直接兼容。
- 自适应噪声强度：根据 router 的归一化熵调整扰动幅度——低熵（分布尖锐）时加大噪声，高熵时减小噪声。相比固定噪声，能更平稳地探索，尤其适用于需要兼顾效果稳定性的电商/广告长尾 query 或 item 生成任务。
数据稀缺与模型稀疏：MoE 对重复数据更易过拟合
🧭 LLM 训练 · 数据重复 · MoE 正则 ★ 深度解读
Stanford University · Paul G. Allen School of Computer Science, University of Washington
在重复数据训练下，MoE 比同 active 参数的 dense 模型退化更早更快，且退化程度由 total 参数决定
📌 工作参考价值（4 点）
- 搜索/推荐/广告等业务里若用 MoE 或稀疏 LLM 做召回、排序、query 生成，数据重复是常见场景（行为序列、曝光样本、promo 物料反复出现）。不要只看 active 参数，要把 total 参数计入训练预算；重复率控制在 4× 以内对 MoE 相对安全，超过 8× 需要警惕。
- 当业务数据受限必须多 epoch 训练时，优先在 MoE 的输出侧做 masking：FFN output masking、expert dropout 或 expert output masking，比 router jitter、weight decay 更有效。生成式推荐/query 生成模型可以在 expert 输出上加 token-level 或 expert-level dropout，缓解重复样本导致的过拟合。
- 多域数据混合训练时，如果某个域 unique 数据不足，不要无限重复该域；把它与语义相似的未重复域混合可能起到正则化作用，而语义差异大的域（如 code 与 web）混合无此效果。对电商多源数据（商品、内容、广告、搜索词）做配比时值得验证。
- 路由早稳定是一个可工程化的监控信号：若 MoE 在训练早期 router 决策就接近冻结，并且 train loss 快速降到很低，通常意味着 expert 在过拟合固定 token 子集。可定期做 expert knockout 分析，量化专家冗余与过度 specialization，作为是否继续训练或切换架构的依据。
StepAudio 3 Music 音乐生成技术报告
🧭 音乐生成 · ABC-CoT 显式规划
StepFun · ACE · The Chinese University of Hong Kong · University of California San Diego
支持 ABC-CoT 显式音乐规划与离散-连续表示的 5 分 30 秒级音乐生成模型
📌 工作参考价值（4 点）
- 显式中间规划再做最终生成：在推荐理由、push 文案、对话式导购等场景中，可以先产出结构化计划（如类目、卖点、风格、约束）作为部分上下文，再生成最终文案，提升可控性和结构一致性。
- 离散 token + 连续 latent 混合生成路径：生成式召回或内容生成中，可用 Semantic ID 作为离散 token，配合 diffusion 生成连续隐变量，兼顾语义可控与高保真重建。
- 低帧率大码本 single codebook：50Hz、65536 码本降低序列长度和解码成本；在 item/query 表示 tokenization 时可借鉴“低频帧 + 大码本 + 语义辅助多任务训练”。
- 用 DPO 直接优化业务偏好指标：AudioBox 的 enjoyment、usefulness、production quality 均在 DPO 后提升，说明推荐文案、搜索 query 生成等任务可以在 SFT 后用真实业务偏好做偏好优化。
SenseNova-U1.5：迈向原生统一视觉智能
🧭 原生统一多模态模型与图像生成
发布8B-MoT原生统一多模态模型，在无Encoder/VAE架构下完成理解、推理与视觉生成，并借多专家on-policy蒸馏增强视觉能力
📌 工作参考价值（4 点）
- 电商商品图生成与编辑：利用其多参考编辑、主体身份/几何保持与未修改区域保护能力，可自动完成商品换背景、多商品组合、局部保留等广告素材生成；双语文本渲染能力适合生成带价格、卖点、促销文案的营销图。
- 多专家 on-policy distillation 可迁移到业务模型：针对不同任务（文案生成、视觉审美、图像编辑）分别优化专家，再用 on-policy 蒸馏整合到统一模型，避免多模型部署的运维成本与延迟。
- Encoder-free/VAE-free 架构减少图像 token 转换中的信息损耗，对生成式推荐中直接建模商品视觉特征（如生成商品图或场景图）有参考价值；支持 4K 原生分辨率适合高细节素材生产。
- 对长、复杂、结构化视觉指令的泛化能力，提示多模态理解可迁移到视觉规划与创作，可尝试用于 Agent 自动排版、生成商品详情页布局或广告创意版式。
T1：面向长程任务的终端Agent强化学习
🧭 终端Agent强化学习与MoE稳定训练 ★ 深度解读
Tencent Hy Foundation Model Frontier · National University of Singapore · University of Georgia · Indiana University · University of Maryland, College Park
122B MoE终端Agent靠RL在Terminal-Bench 2.1达64%，用TITO+R3稳定训练与密集验证奖励
📌 工作参考价值（4 点）
- MoE 训练-推理一致性：对大规模稀疏模型，记录推理时每个 token 的专家路由掩码并在训练时重放（R3），同时让训练直接消费采样时的 token ID 而非重新渲染文本（TITO），可消除训练-推理 log-prob gap，避免梯度更新到错误的专家子网络。对推荐系统中带 MoE 的排序或召回模型同样适用。
- 密集奖励设计：用绝对通过断言数而非通过比例作为 RL 奖励，并固定全局尺度（S=20），保留不同难度任务/用户价值差异。在电商多目标 RL 中，可借鉴“绝对达成数”作为奖励，避免归一化掩盖长尾或高价值任务。
- Critic warm-up 与健康度监控：先在有监督数据上预热 critic 一个 epoch，设置 critic 学习率为 actor 的 30x，并用 explained variance（全局方差约减）持续监控。冷启动 critic 可能导致 EV 为负，大幅拖慢 RL 收敛。
- 数据质量审计防 reward hacking：用 LLM 对训练任务做语义审计，硬拒绝隐藏需求、测试泄漏、解决方案捷径、verifier 过弱等。在推荐/Agent 任务构造中，可复用该流程过滤低质量或可被刷分的训练样本。
LLaDA-UI：将分块扩散引入视觉语言GUI智能体
🧭 Agent · 分块扩散多模态模型
AGI Research Center, Inclusion AI · Venus Team · Westlake University
提出16.7B MoE分块扩散视觉语言GUI智能体，在多个GUI基准上超越Qwen2.5-VL-7B并在4/6基准上超过Qwen3-VL-8B
📌 工作参考价值（4 点）
- 分块扩散解码的并行性可降低端到端延迟，适合需要实时感知屏幕并快速决策的 Agent 场景（如自动操作商品后台、客服工单处理、广告账户管理）；可在小规模任务中替换自回归解码验证扩散解码的加速效果。
- 两阶段训练策略（通用多模态预训练 + 领域 SFT）可复用于训练电商多模态 Agent：先对齐视觉与语言，再用业务 GUI 数据微调，无需从零构建视觉语言模型。
- 原生分辨率视觉编码器对细粒度 UI 元素定位重要；电商场景中商品图、广告素材上的小文字/按钮/价格可能被降采样丢失，采用原生或高分辨率编码可提升 grounding 精度。
- MoE 架构使 16.7B 总参数在多个 GUI 基准上超过同量级/更大稠密模型，在可控激活成本下保持性能，对需要并发处理大量 Agent 请求的业务有成本优势。
Miles v0.1：生产级后训练系统
🧭 生产级后训练系统与Agentic RL
RadixArk
一个全栈生产级后训练系统，支持RL、LoRA RL、蒸馏等，在64 GPU上对744B MoE做异步Agentic RL步时263秒
📌 工作参考价值（4 点）
- 借鉴其解耦的 rollout 与 trainer 架构：使用 SGLang 作为独立推理引擎，通过 router 管理多个 engine，训练器支持 Megatron-LM / FSDP 双后端，可适配电商推荐场景中大规模 LLM 的 RL 训练或在线学习。
- LoRA RL 支持降低了 RL 微调的资源门槛，适合在电商/广告领域对已有 LLM 做轻量级策略优化，如对话式推荐、搜索 query 改写等业务。
- true-on-policy rollout-training alignment 机制确保训练数据来自最新策略，避免策略滞后，对推荐系统中的实时反馈学习（如 bandit / RL 推荐）有参考价值。
- 异步 Agentic RL 案例（多轮工具调用、外部环境交互）可直接迁移到构建电商导购 / 客服 Agent 的训练 pipeline，缓解 rollout 与训练间的气泡问题。
Qwen3.8-Next 架构设计：评估、效率与训练稳定性
🧭 大规模稀疏 MoE 架构与训练优化 ★ 深度解读
Qwen Team
稀疏 MoE 联合优化效果、效率与训练稳定性，在约 1/9 训练 FLOPs 下追平前代旗舰
📌 工作参考价值（4 点）
- 长序列用户行为建模/Agent 长期记忆：QSA 的压缩 lightweight indexer 在 micro-block 粒度打分，压缩比 r=4，索引成本从 O(n^2) 降到 O(n^2/r)，1M context 下 prefill 7.6×、decode 4.9× 加速，且短序列指标不退化。对电商历史行为序列、会话日志、Agent 记忆库读取等长上下文场景有直接借鉴价值。
- 外部容量扩展：n-gram embedding 表托管在 host memory 并异步预取，51B 参数几乎不增加 per-token FLOPs。推荐系统可借鉴其思路，将大规模 ID/属性交叉特征、低频但重要的记忆型特征放在 off-accelerator 表中，避免主模型算力膨胀；但要注意论文反复出现的结论——loss 单调下降不意味着下游指标同步提升，必须用业务指标单独验证。
- 训练稳定性与优化器：Muon 只用于 2D 线性映射权重，embedding/head/router/GR 低秩投影保留 AdamW；用 4× 最优学习率压力测试验证稳定性，提前暴露 spike 风险。大模型或大 embedding 模型训练时可复用该策略，减少对 qk-clip、SwiGLU-clip 等显式裁剪的依赖。
- 残差门控设计：GR 四分支 + elementwise 门控读取替代 pre-norm，去掉分支间 mixing 后既提升表达能力又减少显存流量。该思想可迁移到序列建模的残差路径；但论文也警示仅看 pre-training 指标会误判，sparse read 在后训练阶段退化就是反面案例。
训练通信高效 Mixture-of-Experts 语言模型的层重配置方法
🧭 通信高效 MoE 架构训练优化 ★ 深度解读
NVIDIA
减少 MoE 层数并用 Mamba-2 和密集 FFN 补深度，在匹配参数下降低专家并行通信和训练 GPU 小时 30-35%
📌 工作参考价值（4 点）
- 如果业务里用 MoE LLM 做召回/粗排/reranker 或生成式推荐，可尝试把 MoE 层从每个 token-mixing 后都放一个改为稀疏放置，例如 52 层 hybrid 模型只保留 8 个 MoE 层，其余用 Mamba-2 和 dense FFN 补深度，理论上 all-to-all 调用从 23q 降到 8q，实际训练 GPU 小时省 30% 以上。
- 层排序不要随机，采用 phased-greedy：先把 attention 和 channel-mixing 块按虚拟块分配到 Mamba spine，避免连续 channel-mixing，attention 放在 token-mixing 尾部；实验中比 21 个受约束随机排序的验证损失低约 1.8σ。
- 连续堆叠 softmax attention 容易 rank collapse 导致训练发散；如果用 token-mixing-heavy 架构，优先用 Mamba-2/线性注意力作为主干，比 softmax attention 稳定得多。
- 评估架构改动要直接看 GPU-hours 而非理论 FLOPs/参数量；本文的模型形状搜索用 L_E*K 作为通信代价代理，在参数匹配候选中选该值最小者，可复用到自己的搜索流程。
RARE：在 MoE 语言模型中解耦表示引导与专家路由
🧭 MoE LLM 表示工程与路由解耦
Huazhong University of Science and Technology · AIDX TECH PTE. LTD. · National University of Singapore
将行为扰动投影到路由器矩阵零空间，保持 MoE 路由一致，提升表示工程的控制效果与效用保留
📌 工作参考价值（4 点）
- 如果业务用 DeepSeek/Qwen 等 MoE LLM 做生成式推荐、query 改写或商品文案，需要对安全性、合规性、事实性进行在线控制时，避免直接对 hidden states 加扰动导致 expert 路由漂移；可借鉴 RARE 把扰动投影到 router matrix 的 null space，以保留下游能力。
- 该方法是轻量、无需训练的推理期控制手段，相比 SFT/RLHF 可以快速上线、实时调节，适合电商大促、广告审核等需要动态调整输出约束的场景。
- 工程实现只需缓存各层 router matrix 并计算其零空间投影，可在 vLLM 等推理框架中作为后处理插件集成，对延迟影响较小；论文在多个开源 MoE 模型上验证了通用性。
- 路由对语义内容敏感、对行为变化不敏感这一发现，提示在做 RAG 检索、query 改写时如果希望改变模型输出风格而不破坏专家选择，可以优先在表示空间的 router-null 子空间内操作。
一步一步扩展：大规模混合专家模型的计算高效超参数迁移
🧭 大规模MoE训练超参数迁移
Kakao Corp. · Upstage AI
提出计算高效的两步超参数迁移框架，通过宽度缩放迁移与token外推预测大规模MoE最优学习率
📌 工作参考价值（3 点）
- 在训练大规模 MoE 推荐/广告模型时，可采用 μP 参数化 + 宽度缩放代理模型快速确定学习率，避免对完整尺寸模型做昂贵的超参扫描。对于需要频繁调整专家数量或模型宽度的业务，μP 让最优 LR 在不同宽度间稳定迁移，显著降低调参成本。
- 利用小代理模型在有限 token 预算下的 LR 扫描结果，通过线性回归外推到生产模型的超长训练 horizon（如 10T tokens），R²=0.95 表明该迁移对 MoE 架构高度可靠。训练 infra 团队可据此搭建低成本 proxy 流程，预测大模型最优配置。
- 若业务落地 DeepSeek-V3 类 MoE 架构（含 Multi-head Latent Attention 和 Muon optimizer），需同步引入对应的 μP 适配，否则学习率等配置无法跨模型尺寸复用。工程上应把参数化与优化器选择固化进训练代码，保证迁移性。
低资源语言推理微调：SFT 的所得、RL 的修复与准确率的盲区
🧭 低资源语言推理微调与行为评测 ★ 深度解读
Sophea AI · KIEFER SA
三个 MoE 模型希腊语推理微调显示：准确率被种子噪声主导，语言保真、推理预算与格式遵从等行为指标才稳定，RLVR 可修复 SFT 缺陷
📌 工作参考价值（4 点）
- 微调领域/多语言 LLM 时，不要把 accuracy 当唯一指标：固定种子做 3 次重复训练先测噪声地板；用行为指标（输出是否进入指定 schema、推理轮次/token 预算、格式遵从率）作为发布门槛，并控制指标与生成长度的相关性。
- 数据配方可迁移：如果模型只用于生成/推理（例如商品推荐理由、搜索 query 改写），去掉通用对话数据只保留 reasoning 数据可提升格式遵从与准确率（+6.9pp）；若需同时保留闲聊能力，两阶段训练并用 fallback% 监控第二阶段对指令遵从的破坏。
- RLVR（可验证奖励强化学习）能廉价修复 SFT 的格式缺陷：答案格式 fallback 从 24% 降至 2.5%、答案泄漏到推理通道从 3.5% 降到 0%，且不破坏已获得的希腊语推理习惯；在电商 Agent 中可用规则奖励约束输出 JSON/槽位，避免后处理重写。
- 多语言/低资源部署注意 serving 成本与 tokenizer 生育率：希腊语每词 token 是英语 2.3-2.5 倍，所以缩短 trace 不一定省 token；不同 MoE 家族可能一个省 3× token 另一个反而 1.6× 更贵，评估时要按自己 tokenizer 重算。
MoE 块蕴含强幻觉检测信号
🧭 MoE 路由信号幻觉检测
INESC-ID · Instituto Superior Técnico
利用 MoE 路由熵/专家不一致等内部信号提出 InnerExpert，实现 token 级幻觉检测并达 SOTA
📌 工作参考价值（3 点）
- 若业务已使用 MoE 架构模型（如 Mixtral、DeepSeek），可直接采集路由熵、专家激活分布、专家不一致等特征，作为额外的“不确定性/事实性”信号，用于拒答、触发检索或降低生成置信度，成本几乎为零。
- 借鉴 InnerExpert 的轻量分类器设计：将路由特征与隐藏状态拼接后训练一个小型检测头，只做一次前向即可输出 token 级幻觉概率，适合实时推荐/Agent 场景。
- 用 LLM-as-judge 自动生成 token 级真实标签，避免人工标注，支持线上数据回流持续更新检测器；对电商文案、推荐理由、Agent 回答可做细粒度事实核查和风险定位。
LEGO-RL：原生编码 Agent 强化学习训练框架
🧭 Coding Agent RL · 原生 harness 训练框架 ★ 深度解读
Huawei Technologies Co., Ltd · The Chinese University of Hong Kong
桥接原生编码 agent harness 与策略梯度优化，在不改控制流下实现可信 RL 训练并显著提升 SWE-bench 解决率
📌 工作参考价值（4 点）
- Agent 化推荐/搜索场景可复用 in-process proxy：在业务 Agent（如导购、客服选品）中，用模型 API 边界代理记录 token ID、log-prob、response mask 和 MoE 路由，训练侧重放，避免 harness 上下文压缩/重写造成轨迹失真；对于 sparse MoE 模型尤其重要，路由重放可将 rollout-train 概率相关性从 0.9946 提到 0.9993。
- 异步 rollout + 终止状态过滤：长 horizon Agent 任务时长差异大，按基础设施失败/超时/有效但不完整分类轨迹，无效轨迹排除出组相对优势估计，防止执行故障污染梯度；组内方差不足的任务需难度筛选，否则零方差组无学习信号。
- 奖励完整性防御可迁移到任何带执行反馈的推荐 Agent：限制网络、隐藏评测信息、依赖打包、隐藏仓库历史，防止 Agent 通过外部状态作弊，保证奖励真实反映任务完成。
- 可观测性设计值得借鉴：失败原因分布、轨迹查看器、一致性面板，在训练崩溃时快速区分策略退化与执行/集成故障，支持早停与人工诊断，减少无效实验成本。
MoE-ViE：用于高效图像与视频理解的混合专家视觉编码器
🧭 视觉编码器 MoE 高效扩展
Meta
系统研究 CLIP 视觉编码器的 MoE 设计，以细粒度拓扑与无辅助损失均衡实现高效扩展并超越稠密模型
📌 工作参考价值（4 点）
- 电商多模态召回/排序依赖 CLIP 式视觉编码器，可替换为 MoE-ViE 类细粒度 MoE 编码器，在商品图片/视频特征提取中获得更高吞吐、更低延迟；其专用 MoE kernel 可直接借鉴到线上推理优化。
- 细粒度 MoE 拓扑与无辅助损失均衡方法可迁移到多模态特征塔或用户行为序列编码器，减少专家负载不均衡和训练不稳定，提升模型容量扩展效率。
- 视频理解中的帧级蒸馏与冻结机制适合电商直播/短视频场景：在已有图像编码器基础上增量扩展视频能力，避免灾难性遗忘，无需从头预训练视频模型。
- 对于多模态 Agent（如商品问答、视觉搜索），视觉编码器是延迟瓶颈之一，采用 MoE-ViE 可在保持精度下降低端到端延迟，适合交互式场景。
FreeToken：面向边缘环境的带宽自适应 MoE 高效推理系统
🧭 边缘 MoE 推理系统 · 带宽自适应执行
UC Berkeley · UT Austin
通过带宽自适应执行与全栈协同设计，将前沿 MoE 模型高效部署到个人异构硬件
📌 工作参考价值（4 点）
- 若业务中需本地或边缘侧部署 MoE LLM（如 query 改写、商品文案生成），可借鉴 FreeToken 不固定 offloading 策略的思路：根据当前 PCIe 带宽、CPU/GPU 算力动态决定 expert 常驻位置，而非依赖静态预设。
- 对 Agent 类工作负载（多轮工具调用、长上下文），关注其请求模式动态变化，利用请求间共享前缀缓存与状态复用，减少重复 KV cache 重构，降低长尾推理成本。
- 在异构硬件集群中做推理调度时，可将模型状态视为可迁移资源，按机器实际可用内存、带宽和计算强度做细粒度映射，而非只按 GPU 数量分配。
- 若团队使用开源 MoE 模型做离线批量生成（如推荐理由生成、广告文案扩展），可参考其对模型权重分片与流式加载的工程优化，降低对单机 GPU 显存的硬性要求。
DeaMoE：面向小批量快速解码的高效 MoE 结构
🧭 高效 MoE 解码架构 · 小批量推理 ★ 深度解读
University of Science and Technology of China · Institute of Artificial Intelligence, Hefei Comprehensive National Science Center · Shanxi University
DeaMoE 将专家分组为部门，共享大部分参数并设计两级路由，在小批量解码下降低专家权重加载，实现最高 2 倍加速
📌 工作参考价值（4 点）
- 若业务用 DeepSeek-V3/Qwen3 等大 MoE 做实时 query 改写、广告文案生成或 Agent tool call，小批量延迟不达标时，可考虑 DeaMoE 式重组：把 256/384 个 experts 分成 8/16 个 departments，共享 FFN 主矩阵，每个 expert 只保留 [hffn, hffn] 私有矩阵；在总参数和 FLOPs 不变的前提下，A40 上可获得 1.3–2.0× TPOT 加速。
- 改造时用 group-limited top-k 软约束控制每个 token 激活的 department 数，不要强制覆盖 kdept 个 department；ablation 显示 strict coverage 会扰动路由偏好并提高 loss，软约束下平均激活 3.95/4 个 department 已足够。
- 私有 expert 矩阵用 torch.nn.init.eye 做 identity 初始化，而不是随机初始化；在 factorized 结构下可显著降低预训练 loss（2.504 vs 2.530），避免随机初始化扭曲共享 backbone 表示。
- 工程实现可沿用 vLLM Grouped GEMM primitives，只改 token indexing 支持 hierarchical routing；注意收益与 expert 大小和 GPU 带宽强相关，H100 上小 expert 模型可能回退，优先用于大 expert MoE 和带宽受限硬件。
Intern-S2-Mobius：知识存储与推理解耦的高效基础模型
🧭 LLM 架构 · 知识-推理解耦 ★ 深度解读
Shanghai AI Laboratory
通过全局共享 FFN 知识库与多 Reasoner 隐式迭代，实现同等精度下近 4 倍端到端推理加速
📌 工作参考价值（4 点）
- 解耦知识存储的思路可迁移到「LLM + 海量商品/内容知识」：把商品语义向量、属性知识放到全局共享 Memory 或 MoE 专家中，推荐/广告 Reasoner 按需检索；商品新增下架更像更新知识库，而非重训整套模型。
- 隐式 latent reasoning 值得在 query 推荐、广告文案生成、Agent 规划等长 CoT 成本高的场景探索：用连续隐状态迭代或蒸馏压缩显式 CoT，可显著降低 token 数、提升吞吐，但需在小任务上先验证精度损失。
- MoE 块状划分 FFN + 稀疏激活，为推荐大模型部署提供冷热分层思路：高频知识参数放 GPU，低频/长尾知识放 SSD 按需加载，降低显存压力。
- 该架构显示同等效果只需 Transformer 约 62.6% 的训练数据，对标注稀疏的电商任务有吸引力；但属基础架构改动，业务直接落地的工程成本较高。
Motif 3：分组差分潜注意力与细粒度 MoE 的高效 LLM
🧭 大模型架构优化 · 稀疏 MoE ★ 深度解读
Motif Technologies
提出 GDLA 注意力及 384 选 8 稀疏 MoE，结合在线蒸馏实现高效 LLM 推理与多能力整合
📌 工作参考价值（4 点）
- KV 缓存压缩用于 Agent 长记忆：GDLA 结合差分注意力与 MLA，将 KV 缓存降低至 16 个潜表示头，显著减少多轮 Agent 交互的显存占用，可直接启发推荐系统中的大模型会话 bot 或长期用户建模。
- 细粒度专家路由与负载均衡：384 选 8 的稀疏 MoE 配合 sigmoid 路由、辅助损失退火等策略，确保专家充分利用且避免崩溃，可迁移到大规模推荐模型的混合专家路由设计。
- 多教师在线蒸馏聚合能力：用 6 个 RL 专精教师与 1 个 SFT 软件工程教师进行 MOPD 蒸馏，得到兼具推理、编码、工具使用能力的统一模型，方法可直接用于电商 Agent 能力集成，将细分任务专家合并至单一服务模型。
- MXFP8 低精度训练与通信优化：专家激活预量化、梯度同步 BF16、免 All-Gather 权重保留等技巧，降低显存和通信成本，对推荐系统中需要大规模 GPU 集群稀疏训练的团队有实用价值。
UniMoMo：基于专家合并的推荐大模型 MoE 加速
🧭 MoE 压缩加速推荐模型
Kuaishou Technology · Hohai University · Wuhan University · ByteDance · Alibaba (Ant Group)
用无标签校准集度量专家功能相似性，结合路由曝光保护高频专家，将训练后推荐 MoE 压缩为小 MoE 并保持 NDCG
📌 工作参考价值（4 点）
- 若业务推荐模型已采用 MoE，可借鉴 UniMoMo 做不同 serving budget 的模型档位：用同一训练后 checkpoint 压缩出 2/4/8 等专家版本，线上按延迟或吞吐切换，避免为每个档位重新训练。
- 压缩时不要只看参数距离，可复用无标签校准集（用户交互序列/候选商品）比较专家在相同输入上的输出相似度，做功能聚类合并；这比 L2 权重距离更贴近推荐行为，能降低合并带来的排序损失。
- 引入 layer-adaptive protection：按 routing exposure（专家被路由的概率/流量占比）识别高频专家，限制其参与合并。电商推荐中头部流量专家通常承担关键用户群，保护它们能有效控制 NDCG 回退，尤其适合流量分布高度倾斜的场景。
- 该方法不增加线上压缩专用模块，最终导出标准 MoE，可直接替换现有推理服务；在 A100 上可取得 1.28×–2.21× 加速，适合广告/推荐精排阶段降低推理成本。
UniSpace：统一视觉表示与可扩展多模态建模
🧭 统一视觉表示 · 多模态生成编辑
Meituan
提出 Patch Reparameterization，使冻结语义 ViT 同时支持理解、生成与编辑，并扩展为 8B MoE 统一模型
📌 工作参考价值（4 点）
- 可借鉴 Patch Reparameterization：在预训练语义 ViT 上增加 reconstruction-aware patch embedding，冻结主体 Transformer，低成本复用语义表征的同时保留像素细节；适合电商商品图重建、编辑和增强场景。
- 单一视觉空间同时支持理解、生成、编辑，省去独立 VAE 通路，能降低多模态模型复杂度和部署成本；在商品图像生成、广告素材编辑、多模态商品理解等任务中可探索统一 encoder。
- 8B Mixture-of-Transformer-Experts 的扩展思路可复用到多任务电商多模态模型：按任务或模态路由专家，在统一表征上做商品理解、文案配图、图片编辑。
- 评测基准 ImgEdit/DPG/OneIG-Bench 提供指令式图像编辑的系统级评估模板，可改造为电商场景的商品图编辑/文案生图评测；但对推荐、召回、排序的直接帮助有限。
多模态预训练物理学：知识流、模态协同、早期统一与配方
🧭 多模态预训练机制与训练效率优化
FAIR, Meta · Reality Labs, Meta · University of Oxford
系统揭示多模态预训练中知识非对称流动、模态协同依赖任务复杂度、早期统一优于晚对齐，并给出高效配方
📌 工作参考价值（4 点）
- 模态协同架构设计：在多模态推荐模型（如结合商品图文）中，采用共享注意力与层归一化，但解耦模态特定的 FFN，可促进协同并缓解竞争。
- 早期联合训练：从训练之初就统一多模态特征，而非分阶段预训练后对齐，能避免视觉惰性，使模型同时学习跨模态理解，对需要同时理解文本查询和商品图像的场景有益。
- 知识流动不对称性：语言先验可强驱动视觉生成，可利用文本生成增强商品图像描述或虚拟试穿模型的训练策略。
- 高效训练配方：通过 MoE 架构与训练策略压缩计算至原 5% 仍能保持强生成能力，直接适用于资源受限的电商多模态模型预训练。
教Nemotron希腊语：专业领域现代希腊语RAG全流程构建
🧭 低资源语言RAG全栈适配 · 领域检索增强生成
Sophea AI, KIEFER SA, Athens, Greece
为低资源语言从头搭建检索增强生成系统，合成监督、微调嵌入与重排、适配生成，并发布基准HERA。
📌 工作参考价值（4 点）
- 不要迷信多语言密集检索：在特定领域（如电商商品描述、客服文档），先跑一个BM25作为基线，很可能强过通用多语言嵌入模型，尤其在低资源语言场景。
- 小规模领域检索对微调有大收益：仅用6.5万合成希腊语检索对微调1B嵌入模型，nDCG@10从0.362涨到0.835。在电商垂直领域，可以自动构建（query, 商品/文档）对来微调嵌入模型，成本低但效果显著。
- 重排器也需要领域适配：现成跨编码器重排器在不同领域表现不一致，用领域数据微调后能变成稳定增益。构建RAG系统时，别忽略重排环节的定制训练。
- LoRA微调MoE阅读器大幅提升答案质量：仅LoRA调优30B-A3B的MoE模型，答案正确率从29.4%升至66.9%，且忠实性和引用质量显著改善。对于需要从长文档中提取证据的场景（如电商说明书、政策文档），用LoRA高效地让大模型接地气。
K-EXAONE 2.0 技术报告
🧭 大规模MoE语言模型
LG AI Research
开源750B MoE多语言模型，通过upcycling和难度聚焦训练提升智能体编码与长上下文能力
📌 工作参考价值（4 点）
- MoE 稀疏激活：在推荐召回或排序大模型中可借鉴，用稀疏专家降低推理成本，尤其适合高吞吐线上服务。
- 长上下文训练：256K 上下文窗口可处理超长用户行为序列或会话历史，直接用于电商搜索中的 query 上下文理解或推荐中的序列建模。
- 多语言能力：10 种语言覆盖，对跨境电商或海外广告场景可直接使用或微调，减少多语言模型部署成本。
- 安全对齐：基于韩语社会文化背景的安全训练，可迁移到内容安全过滤、生成式推荐的合规性审查，定制化安全策略。
Tevatron集成Megatron：学术预算下的专家并行LLM重排序训练
🧭 LLM重排序 · 专家并行高效训练 ★ 深度解读
University of Utah · University of Waterloo · The University of Queensland · Carnegie Mellon University · University of Virginia
为Tevatron重排序工具包引入Megatron训练后端，通过专家并行实现30B MoE重排序器训练，同时保持HF兼容。
📌 工作参考价值（4 点）
- 在资源受限下训练大规模MoE重排序模型：利用Megatron的专家并行（EP）将MoE层的专家分布到多个GPU，仅激活少量专家，可在两台8×H200节点上训练Qwen3-30B-A3B（30B总参，激活约3B），突破PyTorch FSDP1不支持EP的限制。
- 加速训练并保持部署兼容性：Megatron后端在推荐配置（TP=2/DP=4）下比FSDP1全分片快约22%，且训练产出可直接加载为Hugging Face checkpoint，无缝接入vLLM等推理引擎，部署零转换成本。
- LoRA适配MoE时注意目标模块划分：使用命名目标组注册表（如指定moe_experts、moe_shared，冻结router），避免盲目适配全部128个专家FFN或遗漏关键层，这是LoRA在MoE重排序中不严重掉点的关键工程trick。
- 蒸馏训练可离线标注教师分数：将教师分数预计算存入数据集，训练时无需加载教师模型，节省显存和计算量；蒸馏与对比学习在不同数据集上各有优势，可根据业务场景灵活选择，并在重排序任务中简化训练管线。
DiffusionGemma：基于 Gemma 4 微调的离散扩散高速文本生成模型
🧭 文本扩散模型 · 高速块生成 ★ 深度解读
Google DeepMind
通过微调 AR 模型结合 RL 与采样器蒸馏，实现离散扩散文本生成，速度达 ~1500 TPS，远超自回归模型
📌 工作参考价值（4 点）
- 块级并行生成降低延迟：在需要实时响应的对话或文案生成场景中，可直接借鉴 DiffusionGemma 的块扩散范式，采用 256 token 并行去噪的方式代替逐 token 解码，大幅降低单用户服务延迟，尤其适合低并发、低批量的推理场景。
- RL 与采样器蒸馏联合训练可压缩推理步数：对生成式推荐或搜索改写等系统，可设计类似的在线训练流程（SD·RL），将奖励最大化与推理步数压缩作为联合目标，使模型在保持生成质量的同时大幅减少前向次数，提升吞吐。
- 自适应停止机制动态节省算力：对于不同复杂度的任务（如简单商品描述 vs. 复杂推荐理由），可以引入基于预测熵的自适应停止策略，对简单任务早期停止去噪，避免固定步数浪费计算，实现“按需计算”。
- 保留 AR 能力实现混合解码：在 Agent 系统中，可根据延迟要求和任务复杂度动态切换扩散模式或 AR 模式，或混合使用两者，平衡生成速度与质量，为请求路由策略提供新的自由度。
不确信用专家，自信就省：MoE-LoRA 置信度自适应路由
🧭 MoE-LoRA 置信度自适应路由
University of California, Irvine · University of Washington
利用路由器分布作为 token 置信度信号，动态分配专家数量，在匹配预算下提升 MoE-LoRA 性能
📌 工作参考价值（4 点）
- 在电商推荐模型的 LoRA/MoE-LoRA 微调中，可直接用路由器分布替代额外置信度模块，实现 token/representation 的动态专家分配，节省推理成本。
- 推荐系统在线服务的 PEFT 适配：设置预算恒温器（budget thermostat）自动校准阈值，使平均激活专家数恒定，便于工程实现尾部延迟控制。
- 对用户/物品 Embedding 的 MoE 计算，可借鉴“分歧扩展”机制：当激活专家输出不一致时追加专家，提升困难样本质量。
- OOD 检测可复用相同的置信度与分歧信号，无需额外模型，为推荐系统的安全性、时效性监控提供低成本方案。
MoE²-LoRA：为MoE模型设计的MoE风格低秩适配
🧭 MoE模型参数高效微调
Shanghai Artificial Intelligence Laboratory · KTH Royal Institute of Technology · University of Science and Technology of China · Fudan University · The Chinese University of Hong Kong
首次用MoE路由思想做LoRA微调，复用预训练路由器激活动态选择全局共享的LoRA专家
📌 工作参考价值（4 点）
- 若内部用MoE架构LLM做推荐/对话任务（如query改写、商品描述生成），MoE²-LoRA提供了一种高效微调方案：引入全局共享LoRA专家池，既减少参数量又保持多任务适配能力。
- 路由条件投影（RCP）复用预训练路由器激活，可借鉴到多兴趣推荐模型中，用已有用户意图路由为不同兴趣头动态选择低秩适配器，避免静态分配。
- 全局专家池的层间共享机制简化了部署：只需维护一套适配器权重，节省存储和推理时IO；适合边缘设备或需要频繁更新的推荐模型。
- 实验显示该方法在多种MoE骨干上稳健提升，说明即使推荐系统的底层LLM结构变化，该方法也能迁移复用，减少适配成本。
AREX：递归自改进的深度研究智能体
🧭 Agent 递归自改进 · 长视野研究 ★ 深度解读
Beijing Academy of Artificial Intelligence (BAAI)
利用发现-验证不对称性，将部分验证的解递归地转化为更聚焦的研究问题，实现长视野深度研究。
📌 工作参考价值（4 点）
- 多约束查询分解与验证：电商搜索中用户需求常隐含多个约束（价格、品牌、特殊属性），可借鉴 AREX 将问题分解为约束束，通过递归验证式搜索逐条核验，避免一次性返回不满足所有条件的商品。
- 自主上下文更新工具：长对话推荐或 Agent 任务中，上下文膨胀会干扰决策。可训练模型自主调用“上下文更新”工具，将已验证的产品属性、未解决的约束及被排除的候选项压缩为紧凑状态，以替代全量历史，降低 token 成本并提升后续推理准确度。
- 关键步聚焦训练：强化学习优化推荐策略时，可标注“关键决策步”（如首次命中正确类目、修复错误搜索方向并转向），对它们施加额外的奖励塑形或集中训练，避免奖励信号被大量常规步庸稀释，显著提升长路径任务成功率。
- 双层循环架构：对于需要持续改进的生成式推荐（如营销文案生成、动态选品策略），可引入内循环产出草稿，外循环按置信度审核并针对性优化未满足的约束，实现可控的、以验证驱动的自我改进，而非无序重试。
Solar Open 2：250B-A15B MoE长上下文Agent模型
🧭 大规模长上下文Agent模型训练
Upstage
通过混合注意力与多专家蒸馏，以1/6参数量达到1.6T模型韩文办公Agent水平
📌 工作参考价值（4 点）
- 混合注意力降显存：每三个线性注意力层插一个softmax层、取消位置编码来实现1M token上下文窗口，在长轨迹Agent或对话系统中可大幅降低KV缓存开销，适合电商客服、端到端推荐流等需要处理超长历史序列的场景。
- 多教师在线策略蒸馏（MOPD）：先训练12个垂直域专家，再用在线蒸馏合并为单一模型，可复用于电商搜索推荐中的多任务学习（例如同时蒸馏意图识别、商品理解、对话规划等专家），避免维护多个专用模型。
- 数据价值策展：质量与稀有度感知的筛选、混合比例优化使10T数据优于原20T数据，在同等算力下提升效率。可借鉴到构建领域特定预训练语料（如电商搜索日志、商品描述），用更少token达到更好任务性能。
- 参数骨架迁移预训练：从上一代模型继承共享参数骨架（5.69B），其余从头预训练，既保留了原有知识又适配新架构。在推荐模型升级（如从稠密模型转MoE）时可大幅节省再训练成本，快速获得强初始点。
Molt：面向智能体强化学习的可扩展PyTorch原生训练框架
🧭 Agentic RL 训练框架 · 异步流式策略优化
NVIDIA
一个轻量PyTorch原生框架，通过异步循环实现策略训练与展开，代码简洁且性能与Megatron堆栈相当
📌 工作参考价值（4 点）
- 快速算法迭代：框架设计为单一研究者可完全掌握的代码量，改动新RL算法只需修改Agent Python程序，适合电商/推荐团队频繁实验新的奖励函数、优势估计或过滤逻辑。
- 异步流式架构：vLLM rollout引擎通过请求路由器和Ray异步队列与训练actor解耦，确保训练数据完全由当前策略生成（无离线数据泄漏），可复用到对话推荐、搜索 Agent 的策略训练，避免分布偏移。
- MoE与多模态支持：框架原生支持混合物专家策略和多模态输入，对电商中的多模态商品推荐、广告文案生成等场景，可直接借助此范式训练大型策略模型。
- 工程实现参考：提供了完整的配方和容器，业务团队可快速搭建起类似的A2C类训练流水线，降低从论文到系统的转换成本。
SLAI T-Rex：在昇腾超节点上对DeepSeek-V4家族进行全参数后训练
🧭 万亿参数MoE全参数训练优化
Shenzhen Loop Area Institute
在昇腾NPU超节点上实现万亿参数MoE模型全参数后训练，达34.22% MFU，并构建运筹优化领域专用模型
📌 工作参考价值（4 点）
- 大规模MoE分布式训练优化经验可迁移到推荐模型训练：模型并行+流水线并行组合、计算与通信重叠编排、低层核函数优化等技巧，能直接提升推荐大模型训练效率与MFU
- 领域数据构建管线：结合收集资源和求解器验证的合成数据，可用于构建电商搜索/广告/Agent场景下带强逻辑验证的微调数据集，例如用业务规则引擎验证生成式推荐结果的合理性
- 全参数后训练相比LoRA等轻量微调能更深层地注入领域知识，适合需要强结构化推理的任务（如广告策略生成、复杂购物决策Agent），在算力资源允许时值得尝试
- 昇腾NPU上的全栈优化实践表明，从并行策略到算子级别的适配可带来明显加速，对国产化推荐系统基础设施的选型与调优有参考意义
MoE 训练中优化器状态该放在哪里？分层状态分配实现内存高效训练
🧭 MoE 训练内存优化
Independent Researcher
针对 MoE 三种参数群体，差异化分配优化器状态，使内存降至原来的 2.6%，且困惑度更优
📌 工作参考价值（4 点）
- 大规模 MoE 推荐模型训练：在训练广告/内容推荐的 MoE 模型时，专家层参数通常占 95% 以上，可仅用 factored second moment（无 momentum），骨干网络保留动量，大幅降低显存，使单卡训练更大 batch 或更多专家成为可能。
- 骨干与专家差异化优化：业务中可借鉴“骨干保留动量、专家不保留动量”的思路，骨干提取通用特征需要稳定收敛，而大量专家可通过轻量状态快速适应不同领域/任务。
- 路由器仅需精确二阶矩：推荐 MoE 中路由器通常极小，保持完整 Adam 状态几乎无开销，且对负载均衡有利（论文中负载均衡接近均匀下限）。
- 从显存到精度无 trade-off：实验表明分层状态分配不损害精度，甚至更好，可直接迁移到现有 MoE 训练流程，无需担心性能回退。
PagedWeight：基于动态质量感知量化的高效 MoE LLM 推理
🧭 MoE 推理优化 · 动态量化
University of Illinois Urbana-Champaign
通过运行时动态量化 MoE 专家权重，在 KV 缓存压力下平衡精度与内存，最高节省 72% 显存并提升 1.94 倍吞吐
📌 工作参考价值（4 点）
- 在电商大模型（如多专家推荐、多任务模型）的推理部署中，可借鉴 PagedWeight 的动态量化策略：依据请求负载和剩余 KV 缓存空间，实时调整专家权重的量化精度，避免 OOM 同时保留推荐质量。
- 系统设计上，可引入“精度-内存-延迟”三维感知的调度器，类似 PagedWeight 的质量感知策略，在延迟约束下动态为不同专家分配不同位宽，相比静态均匀量化可大幅提高内存利用率。
- 当推荐模型规模膨胀到需要多 GPU 或 KV 缓存成为瓶颈时，权重的页式管理（paged offloading/quantization）思路可直接复用，通过将非活跃专家权重以低精度或卸载方式管理，降低常驻显存。
- 实验中表明，在同等显存预算下，PagedWeight 比强 baseline（如 GPTQ、AWQ）质量提升最高 39.3%，证明动态精度分配比固定量化有显著收益，业务中可优先考虑实现“按需精度”而非全局统一量化。
Loopie：循环MoE Transformer超越普通模型的计算匹配扩展法
🧭 层循环MoE架构 · 计算匹配预训练扩展 ★ 深度解读
IQuest Research
提出层循环MoE架构与计算匹配扩展方案，在相同预训练计算量下首次超越非循环大模型。
📌 工作参考价值（4 点）
- 层循环(layer-loop)设计：逐层迭代再传递，降低激活内存，允许更大micro batch。可迁移到推荐系统中特征交互或序列建模的深层Transformer，在内存受限时用循环换取有效深度。
- 计算匹配扩展方法：从参考模型先减层加循环，内存节省后增大batch size，再投资到宽度上。在业务中可按此思路在给定推理预算下最大化模型容量，尤其适合电商搜索粗排/精排模型的轻量化设计。
- 监督预训练(SPT)：用预训练尺度（大批量、长序列、多轮次）做有监督微调，同时提升通用知识和推理能力，避免灾难性遗忘。可借鉴到业务LLM适配，用大规模业务数据做SPT保持基座能力。
- 循环推理与RL结合：多步循环为推理提供了迭代优化空间，配合分组序列策略优化(GSPO)提升复杂任务规划。可启发Agent在多步决策中引入内循环推理，增强长期规划能力。
扩展超连接：突破流数瓶颈实现高效大模型预训练
🧭 LLM架构优化 · 残差流扩展
School of AI, Shanghai Jiao Tong University · Dots Studio, Xiaohongshu Inc. · University of Science and Technology of China · School of CS, Peking University · The Chinese University of Hong Kong
通过时间特征增强和稀疏残差流（仅更新k=4/N=16）突破HC的N=4瓶颈，在MoE模型上大幅提升性能并降低计算开销
📌 工作参考价值（4 点）
- 稀疏更新策略：xHC 每层只更新 k=4 条流但读取全部流，类似推荐系统中大规模 Embedding 表或状态存储可采用“稠密读取-稀疏更新”模式，仅刷新部分高频/重要行，降低训练更新开销。
- 多流残差结构：多条并行残差流可视为不同变换路径的集成，该思想可迁移到推荐模型的多模态、多任务学习，用不同流编码用户、商品、上下文等异构特征，再通过可学习的混合机制融合。
- 内存带宽优化：xHC-Flash 通过融合流维度与批次维度的矩阵乘法减少中间状态传输，对推荐模型部署中的显存带宽瓶颈有借鉴意义，尤其适用于大规模特征交叉或 Embedding 交互层的显存优化。
- 高效扩展范式：在有限训练预算下通过架构改进提升大模型性能，对电商搜索/推荐场景中自行预训练 LLM 的团队，提供了一条除增加模型尺寸外的算力友好扩展路径。
Mach-Mind-4-Flash：35B MoE模型通过后训练比肩百B级性能
🧭 Agent后训练与强化学习优化 ★ 深度解读
Li Auto Inc.
35B MoE仅3B激活参数，通过多专家RL与MOPD蒸馏融合，在Agent基准上超越10-30倍激活参数的大模型
📌 工作参考价值（4 点）
- 多专家在线蒸馏（MOPD）：为电商搜索推荐中的多目标（如点击率、转化率、多样性）独立训练RL专家，再通过MOPD路由融合到单个轻量模型，避免多目标奖励混合导致的指标跷跷板效应，且新增目标只需注册新教师，零代码侵入。
- 奖励课程设计：在稀疏奖励场景（如长周期转化）借鉴两阶段课程，先用过程奖励（中间行为反馈）冷启动，再切换到最终结果奖励，解决强化学习冷启动困难。
- Token效率优化（HMPO）：对于推荐系统对话Agent或生成式推荐中的过长推理链，可引入基于自适应长度预算的强化学习压缩，在保证推荐质量前提下降低推理成本，实现19-46%的文本压缩且精度损失≤0.7%。
- 环境扩展（EnvScaling）：为Agent训练构建可执行验证的环境池（如文件系统、状态模拟等），可迁移至电商场景，用于模拟用户端到端的操作路径，生成高难度、可验证的决策轨迹，驱动深度搜索或购物Agent的强化学习优化。
基于路由轨迹的MoE结构化剪枝方法MAESTRO
🧭 MoE模型压缩 · 全局重要性评估
Indian Institute of Technology Delhi · NVIDIA
将专家激活轨迹建模为马尔可夫链，利用稳态分布评估全局重要性，实现MoE模型的高效剪枝
📌 工作参考价值（4 点）
- 对于部署MoE大模型的场景（如DeepSeek、Mixtral），可直接采用MAESTRO在保持性能的同时压缩50%参数，显存占用和部署成本大幅下降，适合资源受限的在线推理环境。
- 该方法通过建模专家激活的跨层转移依赖，计算全局重要性，可借鉴到推荐系统的多专家网络或多任务模型中，用于识别并裁剪冗余模块，提升模型效率。
- 剪枝过程保持路由一致性（routing-congruent），减少剪切前后路由分布漂移，这一思想可迁移到推荐模型的召回/排序链路中，在模型压缩时保留原始决策逻辑。
- 评估覆盖安全、偏见、伦理等领域，剪枝后模型跨任务方差更低，说明该方法产出更鲁棒的通才模型，适合需要兼顾多业务目标的平台（如电商搜索推荐同时需保证公平性与安全性）。
面向德语与英语的主权开源混合MoE Mamba Transformer基础模型
🧭 MoE 混合架构 · 多语言主权开源
Fraunhofer IAIS · Technische Universität Darmstadt · DFKI · L3S Research Center · KI Bundesverband
混合MoE与Mamba架构激活3B参数即匹配14-27B稠密模型，长上下文吞吐大幅领先
📌 工作参考价值（4 点）
- MoE与Mamba混合的恒定缓存设计，适合高并发长序列推理，可直接迁移至推荐系统用户长期行为建模，减少线上推理成本。
- 通过故意上调目标语言（德语）的数据采样权重，显著提升下游性能，对于多语言电商推荐场景，可借鉴该策略强化小语种或特定领域效果。
- 完全开放训练数据配比、超参与评估代码，为构建自有可控的业务基础模型提供了可复现的工程范式，适合对数据主权有要求的企业。
- 模型在代码相关任务上突出，若业务需处理搜索词解析、规则匹配等代码生成，可作为微调基座。
Gemma 4 多模态模型：高效推理与编码器自由架构
🧭 多模态 LLM 与推理效率优化 ★ 深度解读
Google DeepMind
开源密集与 MoE 多模态模型，集成思维链、长上下文压缩与量化，在多项基准上以小参数量匹配大模型
📌 工作参考价值（4 点）
- 长上下文 KV 缓存优化：采用 5:1 局部/全局注意力比、p‑RoPE 位置编码、键值重用 (keys as values)，全局 KV 缓存减少 37.5%，可直接用于推荐系统的长序列用户行为建模，降低推理显存。
- 量化感知训练 (QAT)：提供 int2/int4 混合权重量化版本，搭配 fp16 激活时块级缩放，大幅降低部署内存与延迟；特别适合电商中端侧部署的排序或生成式推荐模型。
- 多 Token 预测草稿头 (MTP)：轻量自回归头跨注意主模型 KV 缓存，支持任意草稿长度；可迁移到对话式搜索/推荐 Agent，加速多轮生成响应。
- 编码器自由多模态架构：12B 模型直接用线性投影处理原始音频和图像块，省去专用编码器，简化多模态融合管线；在商品图像+语音评价的场景可尝试单一 LLM 统一提取特征，降低工程复杂度。
ELDR：面向 PD 分离 MoE 推理的专家局部感知解码路由
🧭 LLM 推理 · 专家局部感知路由
KAIST · Microsoft Research · Shanghai Xingyunzhili Artificial Intelligence Institute
利用预填充专家激活模式路由请求，使解码 worker 加载更少的不同专家，降低 TPOT 5.9-13.9%
📌 工作参考价值（4 点）
- 若业务部署 MoE 模型（如 Mixtral）作为生成式推荐或对话引擎，可借鉴 ELDR 的 batch 调度思路：根据请求在 prefill 阶段激活的专家模式，将同类请求聚到同一 decode worker，减少每个 step 需加载的专家权重数量，降低 TPOT。
- 签名缓存与 KV 缓存联合索引的设计，可直接用于推荐系统长提示（如用户画像、历史行为缓存）场景，保持前缀命中时的专家签名一致性，避免重复计算。
- 平衡负载与专家局部性的“局部带路由”策略，可迁移至多 GPU 推荐模型推理，特别是参数量大的稀疏专家模块，通过离线聚类+在线轻载优先选择，兼顾吞吐与延迟。
- 整体工程实现基于 vLLM，适合快速集成到现有 LLM serving 管线，为推荐系统中的大模型推理提供低成本的延迟优化方案。
缩放视野而非参数：用 35B 智能体达到万亿参数性能
🧭 Agent 长时域扩展 · 多教师在线蒸馏 ★ 深度解读
Shanghai Artificial Intelligence Laboratory
构建长轨迹知识-行动图与多教师在线蒸馏，让 35B MoE 智能体在科学、工程、搜索等长程任务上超越万亿参数模型
📌 工作参考价值（8 点）
- 长轨迹过程监督：KAG 构建思路可复用 \
- 论文将搜索、工具调用、验证信号统一为知识-行动图（KAG），每条训练轨迹平均 45K tokens，包含成功与失败的中间步骤。在电商搜索/推荐场景中，多轮对话推荐、深度商品调研等长程任务可借鉴此方式，把用户交互、工具调用、商品浏览记录构建为可训练的过程级监督数据，而非仅依赖最终答案。
- 多教师在线蒸馏的域路由设计 \
- 六个异构领域（搜索、工程、科学、指令跟随、工具调用）各训练一个领域教师，通过域路由的在线策略蒸馏（OPD）合并到单一 35B 学生，避免不同领域梯度冲突。电商中不同品类、不同阶段（召回/排序）的专家模型可用同样方式蒸馏为统一部署模型，通过领域标签路由教师信号，保持各领域专长。
- 显著词汇对齐（SVA）提升蒸馏效率 \
- SVA 仅约束教师高概率 token 子集（top-k 支持集）上的分布，避免全词汇表对齐引入噪声。在推荐生成式语义 ID 或文本答复时，可借鉴该技术，在蒸馏生成任务中聚焦关键 token，提高知识转移稳定性。
- RL 训练中的优势增强与数据复用 \
- 工具调用 RL 中利用过程评分为失败轨迹提供分级奖励（仅负数样本使用过程奖励），并用数据复用（64 个 hard case 反复 rollout）在少量步数内达到高效提升。当业务有少量高质量困难任务时，可复用该策略进行 RL 微调，降低对庞大数据集的依赖。
机制驱动的LLM训练不稳定性预先检测监控器
🧭 LLM训练稳定性异常检测
HKUST · Huawei
从注意力谱熵和MoE路由器内部信号提前数千步预警训练崩溃
📌 工作参考价值（3 点）
- 若你的推荐系统使用低精度训练（如FP8），可监控注意力层的谱熵一阶项，在损失发散前数千步预警，避免资源浪费。
- 对于采用MoE架构的生成式推荐模型，可借鉴论文中的路由器负载和专家选择分布指标，提前发现路由崩塌。
- 训练大型模型时，不要只依赖loss和梯度范数，引入模块内部的结构化信号进行健康监测，提高训练效率。
TMP：大规模图像生成与编辑的树结构混合剪枝框架
🧭 大规模图像生成模型的结构化剪枝与优化
Multimodal Model Department, Tencent
首个树结构混合策略剪枝框架，统一 MoE 和 DiT 架构，将 80B 混元图像压缩至 20B（75%），质量损失有限，实现单卡推理
📌 工作参考价值（4 点）
- 剪枝策略的混合设计思想可迁移至大规模推荐模型（如多专家用户点击率模型）的压缩：针对不同模块（专家层、注意力层）采用差异化剪枝策略，而非一刀切
- 工程上实现 80B→20B 后单卡（24GB）推理的优化经验（如 KV cache 裁剪、内存调度）对部署巨型推荐模型有直接参考价值
- 树结构搜索最优剪枝率的方法论可借鉴：在推荐系统召回 / 排序模型的剪枝中，自动搜索各层的压缩比，平衡精度与效率
- MoE 架构的剪枝方案（如专家丢弃、路由剪枝）为电商搜索广告中的多专家模型（如多目标专家网络）压缩提供新思路
分组查询专家：GQA上的混合专家自注意力
🧭 稀疏注意力·动态查询头路由
FrontiersMind
在GQA中为每个token动态路由仅部分查询头，匹配密集基线且长上下文prefill加速1.7-1.8倍。
📌 工作参考价值（4 点）
- 在推荐模型的Transformer序列编码中，若已使用GQA减少KV缓存，可直接引入GQE：保持KV头全激活，仅对查询头做token级稀疏路由，降低长序列用户行为建模的注意力计算量。
- 路由选择可根据token难度（如特征重要性分数）设计轻量线性路由器，在训练时加入负载均衡损失防止头利用率崩塌，这一点与普通MoE一致，可直接复用现有MoE工程组件。
- 长上下文推理加速明显，适合搜索推荐系统中需要处理用户长期行为序列（如数月点击历史）的场景，prefill阶段获得约1.8倍加速，同时保持下游任务精度无损。
- 在资源受限的Agent多轮对话或生成式推荐中，KV缓存占用常为瓶颈，GQE保留了GQA的KV共享优势，又额外节省查询头计算，可以作为移动端或边缘推理的候选方案。
基于流形幂迭代重新设计 MoE 路由器
🧭 MoE 路由器设计 · 幂迭代对齐 ★ 深度解读
Renmin University of China · Tencent
让路由器行向量逼近对应专家权重的主奇异方向，以提升 MoE 路由质量
📌 工作参考价值（4 点）
- 路由器显式编码专家特征：在电商 Agent 多智能体或生成式推荐的 MoE 架构中，可直接替入 MPI，无需调整推理 pipeline。每步仅需一次幂迭代与 L2 归一化，零额外推理开销，能与现有负载均衡损失、z-loss 等兼容。
- 幂迭代替代正交化初始化：若业务中专家矩阵动态更新，可借鉴 MPI 的“Power-then-Retract”模板，用廉价矩阵乘实时跟踪主奇异方向，代替昂贵的 SVD 或静态正交初始化，使路由器持续对齐专家能力变化，尤其适合在线更新的场景。
- 常数 C 的缩放准则：论文给出的 C′ ≈ O(1/√N) 设计原则（C = C′/√N）可作为超参传递给不同专家数模型，在推荐系统扩容专家时降低调参成本，保障路由 logits 尺度稳定。
- 负载均衡意外收益：MPI 天然降低负载均衡损失，省去一部分复杂的平衡策略，可用于电商多业务专家流量的自动均衡，减少“专家失活”问题。
Kwai Keye-VL-2.0 技术报告：面向长视频与智能体的多模态基础模型
🧭 多模态大模型 · 长视频理解与智能体 ★ 深度解读
Kuaishou Group
首个在GQA架构上实现DeepSeek稀疏注意力以无损处理256K上下文，并通过跨模态多教师在线蒸馏解决多任务遗忘的多模态模型
📌 工作参考价值（4 点）
- 稀疏注意力用于长序列推荐：DSA 通过 MQA 式索引 + GQA 分组聚合将注意力复杂度从 O(L²) 降至 O(Lk)，这个思路可以直接迁移到用户行为序列建模（如百万级行为 token 的推荐模型），在减少 KV cache 的同时保持关键信息捕获。
- 多教师在线蒸馏解决多任务冲突：MOPD 动态路由 13 个领域专家、按 token 类别缩放优势值的方法，可借鉴到多目标推荐模型训练，避免不同业务目标（点击率、转化率、时长）之间的梯度干扰。
- 视频时序定位能力复用：论文中构建的 TVG、帧级感知、场景密集描述等数据与训练流水线，可迁移到电商直播场景——精确截取商品讲解片段、自动生成直播看点，提升内容分发效率。
- 合成数据 RL 的设计范式：基于可控编辑图像对+规则可验证 reward 的 RL 方法，可用于商品图片差异检测、属性变更验证等场景，低成本获得精准监督信号。
可逆基础：通过状态保持扩展训练120B稀疏MoE模型
🧭 大规模MoE训练与模型扩展
The School of AI, Bengaluru, India
在单8GPU节点上，结合可逆堆叠与状态保持增长，端到端训练出120B稀疏MoE，优化器状态缩减45倍。
📌 工作参考价值（4 点）
- 可逆设计用于长序列推荐：电商用户行为序列往往很长，可逆层可将激活内存降至常数，适合在有限显存下扩展推荐模型的序列长度，例如用于用户长期兴趣建模。
- 渐进式模型扩容：从种子模型出发，通过状态保持增长逐步扩大专家数量，这一思路可直接借鉴到生成式推荐模型的迭代：先训练小规模Semantic ID生成器，再逐阶段增加专家，避免冷启动训练的高成本。
- TQP量化训练策略：对基础专家权重量化，仅对低秩适配器保留优化器状态，显著降低显存占用。在电商多模态Agent微调或生成式推荐模型部署时，可用类似方法在大参数量下保持低资源推理与训练。
- 施工级工程报告：文中详细记录了扩展中的失败模式，如“静默失败”导致假性收敛，这对实际构建大规模推荐系统时有警示意义，能帮助团队提前规避类似陷阱。
PEFT 的三轴缩放：万亿参数基础模型支撑百万持久个性化模型
🧭 PEFT 缩放 · 个性化模型 · LoRA RL ★ 深度解读
Mind Lab
通过 Scale Up（强先验）、Scale Down（小型稳定适配器）与 Scale Out（适配器种群）三轴协同，让 LoRA 在万亿 MoE 上实现低成本、可持续的个性化 RL 更新与集体智能。
📌 工作参考价值（4 点）
- 用户级 LoRA 适配器：电商推荐或 Agent 系统可对每个用户或 Agent 实例维护一个 LoRA adapter，仅更新 <1% 参数即可捕获长期偏好、技能或工具使用习惯，成本远低于完整模型微调。
- RL 训练的稳定初始化：在 RLHF 或 RLVR 场景中，极低秩 adapter (rank=1) 的初始化不能简单复用 SFT 下的 SVD 初始化，应使用控制初始更新幅度的 RL-native 方法（如 OLoRA-tail），避免策略漂移导致 KL 崩溃。
- 多 Adapter 投票提升决策质量：当存在多个来自不同用户或 Agent 的 adapter 时，可借鉴论文中基于多样性的大数投票机制，聚合多个适配策略输出，在推理阶段获得集体智能收益（AIME24 准确率从单模型 36.4% 提升到 198 模型的 48.7%）。
- 训练–推理一致性：大规模 MoE 部署个性化模型时，路由差异会导致训练策略与线上策略不一致，采用 Router Replay R3 等技术记录并回放路由决策，可保证 RL 更新的有效性。
PithTrain: 面向AI智能体的紧凑型MoE训练系统
🧭 Agent原生MoE训练框架设计
Carnegie Mellon University · Xlue · NVIDIA
提出Agent原生设计原则构建MoE训练框架，在保持吞吐量的同时显著提升AI编程智能体的任务效率
📌 工作参考价值（4 点）
- 框架接口设计可借鉴“Agent-native”原则：显式数据流、最小化间接调用、优先Python实现，降低AI编程工具理解与修改成本。
- 评估训练框架时，除吞吐量外应纳入Agent Task Efficiency（ATE）指标，量化开发迭代效率。
- 在维护或扩展内部训练框架（如推荐模型分布式训练）时，避免过度使用插件系统与编译扩展，能加速新架构的适配。
- ATE-Bench任务设计思路可复用于评估其他ML基础设施对AI辅助开发的友好程度。
Mellum 2：面向高效代码助手的12B MoE模型训练与架构
🧭 代码生成与推理LLM · MoE架构与训练 ★ 深度解读
JetBrains · Constructor University, Bremen, Germany
开源12B/2.5B活跃MoE代码模型，通过架构与训练设计在2.5B算力下达成7B级性能
📌 工作参考价值（4 点）
- MoE部署经济学：通过64选8专家架构，总参数量12B但单token仅2.5B，推理成本可比拟7B密集模型。若在推荐系统中使用MoE，可参考其GQA+SWA+MTP的组合设计，压缩KV cache并利用推测解码加速。
- 三阶段课程学习：预训练数据从通用网页逐步切换到高质量代码/数学（代码比例23%→42%→59%），在lr decay阶段集中最干净的数据。推荐模型训练中也可借鉴：初期用大规模行为数据，后期用精选交互序列，并在lr衰减期引入高标准标注数据。
- 长上下文扩展的层选择性YaRN：仅对全局注意力层应用频率重映射，滑动窗口层保持原样，节省计算且有效保持长短文本性能。对于需要长序列建模的推荐场景（如用户长期行为），可尝试类似分层扩展策略，避免全量RoPE调整。
- RLVR避免奖励模型噪声：用可验证奖励直接优化策略，省去奖励模型训练。在推荐中，若存在确定性的正负反馈（如购买、跳过），可构造程序化的reward函数，减少RLHF的工程成本和不确定度。
MiniMax-M2 系列：以小激活释放最大真实世界智能
🧭 MoE 架构与 Agent RL 训练协同设计 ★ 深度解读
MiniMax
以仅 9.8B 激活参数的 MoE 架构，通过 agent 原生数据管道和 RL 系统达到 agentic 前沿性能，并初步实现自进化。
📌 工作参考价值（4 点）
- 稀疏 MoE 设计：256 细粒度专家，sigmoid gating 和可学习偏置大幅降低辅助损失，每 token 仅激活 8 个专家。在电商推荐中可用于生成式模型，兼顾大容量与低推理成本，其负载均衡策略可迁移到多任务学习。
- Agent RL 训练系统 Forge：训练-推理-agent 解耦，支持白盒/黑盒 agent，用窗口化 FIFO 和前缀树合并吸收长短轨迹差异。可直接复用到多智能体推荐系统的强化学习组件，提升离线策略优化效率。
- 可验证轨迹数据合成：用 GitHub PR 构造 SWE 任务，Docker + 测试用例提供硬奖励；AppDev 采用专家 meta query + Agent-as-a-Verifier 三层验证。推荐系统可借鉴“可执行验证”思想，为商品文案生成等任务自动合成带奖励的高质量数据。
- 自进化能力：M2.7 能自主调试训练、修改自身 scaffold，展示从训练到部署的自动化闭环。可用于推荐模型的在线自动纠错、特征自动更新等运维场景，减少人工介入。
NITP：用下一隐式Token预测增强LLM预训练表示
🧭 LLM预训练 · 表示级监督 ★ 深度解读
School of AI, Shanghai Jiao Tong University · Xiaohongshu Inc. · University of Science and Technology of China · The Chinese University of Hong Kong
用模型浅层表示作为连续自监督目标，显式约束隐藏状态几何，有效缓解NTP的表示退化
📌 工作参考价值（4 点）
- 低成本的表示质量提升手段：仅增加约2%的训练FLOPs，无需额外推理开销，可移植到任何基于Transformer的推荐模型预训练中，改善物品/用户表示的各向异性与退化。
- 浅层作为语义锚点：利用模型自身浅层输出作为连续监督目标，无需外部编码器，这一自蒸馏思路可直接用于序列推荐中的状态表示学习，例如用中间层表示约束最终隐藏状态。
- 余弦相似度作为稳定辅助损失：相比MSE或KL散度，余弦损失在跨层表示对齐中更稳定，可避免梯度尖峰，适合在工业级大模型训练中作为正则项。
- 几何正则化的显式设计：论文揭示了NTP目标在表示空间的零空间问题，并通过理论证明NITP在该零空间引入正曲率，这对于理解并缓解推荐模型中常见的嵌入维度坍缩有直接启发，可尝试为召回/排序模型添加类似隐式预测目标。
Complete-muE：面向MoE模型的最优超参数迁移与缩放
🧭 MoE 超参数迁移 · dense-to-MoE 迁移
Adobe Research
提出 Complete-muE 双桥框架，实现从密集 FFN 到任意 MoE 配置的超参数零成本迁移，实现“调参密集一次，迁移所有 MoE”。
📌 工作参考价值（4 点）
- MoE 推荐模型快速冷启动：在电商推荐系统中采用 MoE 结构时，可先用小规模密集模型调优超参数，再通过 Complete-muE 规则直接迁移到各类 MoE 配置（多专家、稀疏度、共享专家等），省去高昂的超参搜索成本。
- Agent 多智体路由的超参数复用：多智能体系统中的路由网络若设计为 MoE，可从单智能体密集策略网络迁移学习率和初始化，加速 MoE 路由策略的收敛。
- 生成式推荐的 MoE 架构探索：在生成式推荐（例如使用 transformer 生成行为序列）中，可先将模型设计为密集 FFN 调参，随后灵活扩展为 MoE 并迁移超参数，无需重新搜索。
- AdamW 超参统一缩放规则：文中的完整 μE 规则（宽度和专家数缩放下的 LR、WD、初始化方差调整）可直接嵌入训练框架，在模型放大或改变专家数时自动调整超参，提升工程效率。
ACC：面向长上下文训练的Agent轨迹编译
🧭 长上下文训练 · Agent轨迹编译 ★ 深度解读
University of Science and Technology of China · Shanghai Innovation Institute · Shanghai AI Laboratory
将多轮agent轨迹编译为长上下文QA对，无需额外标注，在长程依赖建模上媲美8倍参数模型
📌 工作参考价值（4 点）
- 直接复用业务中已有的agent交互日志（如电商智能客服多轮对话、数据库查询、代码调试等），将其组装为长上下文训练数据，无需额外标注，低成本提升模型多跳推理和信息整合能力。
- 在生成式推荐或搜索中，可将用户与推荐系统的多轮交互（查询、候选列表、点击/购买行为等）编译为长上下文，让模型直接基于长历史序列生成最终推荐，替代逐步候选筛选流程。
- 训练时加入不相关的干扰项（如未点击的商品、未使用的搜索结果）并随机打乱顺序，能增强模型在长上下文中定位关键信息的能力，可迁移至电商场景下处理杂乱的浏览历史。
- 完全基于标准SFT，无需复杂强化学习，工程实现简单，适合快速实验和部署。
对称性兼容原则指导优化器设计：嵌入、LM头、SwiGLU MLP和MoE路由
🧭 优化器设计 · 等变更新 · 预训练
提出基于参数块对称群的等变优化器设计原则，为不同层定制更新规则，在LLM预训中超越AdamW
📌 工作参考价值（4 点）
- 嵌入层与投影层优化：推荐模型的实体/用户嵌入矩阵和最终的投影层可尝试行归一化（row-norm）或单边谱更新，利用左置换等变性，可能提升大规模嵌入训练稳定性。
- SwiGLU MLP 的定制更新：若模型采用 SwiGLU 激活，其权重块的中间神经元置换对称性可指导设计 row-aware 或 column-aware 更新，提升梯度信号对齐，加速收敛。
- MoE 路由器优化：在多领域或多专家推荐中，MoE 路由矩阵可利用专家置换和偏移不变性，采用中心化行归一化或左谱更新，可能改善负载均衡和路由精度。
- 系统化分块优化器设计：整体思想可迁移——先分析模型各参数块的对称群，再选配等变更新规则，而非统一使用 Adam，尤其适用于推荐系统中多种异质参数（Embedding、Attention、MoE 等）的混合架构。
后训练MoE可通过自蒸馏跳过半数专家
🧭 动态MoE推理加速 · 自蒸馏适配 ★ 深度解读
Tsinghua University · Shanghai AI Lab · WeChat AI · Kuaishou Technology · Frontis.AI
注入零输出专家并两阶段自蒸馏，将静态MoE转为动态，消减超50%专家计算且精度损失极小
📌 工作参考价值（4 点）
- 部署加速：已在线服务的 MoE 模型可直接注入零专家并通过自蒸馏转为动态路由，无需重新预训练，降低推理 FLOPs 和耗时，适合电商对话、Agent 等对延迟敏感的场景。
- 稳定迁移：组级辅助损失（L_GA）仅在普通专家与零专家组之间施加平衡，保留原模型内部路由分布，避免能力坍塌，这一 trick 可复用于其他需要引入“跳过”选项的 MoE 微调。
- 蒸馏策略：SFT + OPD 的两阶段设计先驯化路由再对齐分布，比单阶段更稳定；OPD 使用学生自身 rollout 并由教师提供 token 级目标，缩小训练-推理分布差异。
- 计算分配信号：零专家激活率与师生 logp 差、模型熵高度相关，而与任务难度解耦，可据此设计基于置信度的动态推理策略。
服务于LLM推理的可解释推测解码延迟模型
🧭 LLM ★ 深度解读
MIT · Red Hat AI
利用Little's Law构建简单延迟模型，解释负载变化时推测解码的加速比如何随接受率和草案长度演化
ϕ-均衡：面向混合专家训练的凸对偶负载均衡框架
🧭 MoE 训练 · 负载均衡 ★ 深度解读
University of Texas at Austin · Northwestern University
利用严格凸势函数与镜面下降，将 MoE 负载均衡从启发式 batch 统计提升为人口级凸优化，仅需 EMA 跟踪路由概率即实现更稳定均衡与专家专业化
📌 工作参考价值（4 点）
- 用 EMA 替代 batch 统计，消除负载均衡偏差：在电商推荐或 Agent 系统的 MoE 层中，可直接将 ST-MoE 损失中的 batch 频率 f_e 替换为 EMA 路由概率经镜面映射 ∇ϕ(m) 的加权，实现全局均衡，避免因小批次造成的不均匀分配，对长尾流量和冷启动专家更友好。
- 负熵势函数是简单有效的默认选择：实验证明负熵作为 ϕ 在各种规模与粒度下均最优，实现简单（L_aux = Σ p_e * (log m_e + 1)），且对 EMA 衰减率鲁棒（推荐 0.6–0.7），可直接替换现有负载均衡损失而无需额外调参。
- 促进专家专业化，适配多域推荐：ϕ-均衡允许路由根据全局分布动态分配专家，使不同专家自然专注于不同商品类目或行为模式，适合电商多场景联合建模（如搜索、推荐、广告），可尝试冻结部分专家实现领域隔离。
- 工程开销极小，易于集成：仅需在每个 MoE 层维护一份 EMA 向量并增加一步 stop_gradient 的 ∇ϕ 计算，额外算力可忽略，适合大规模分布式训练，能够无缝融入现有 DeepSpeed-MoE 等框架。
XFP：面向LLM推理的质量驱动自适应码簿量化与稀疏异常值分离
🧭 LLM ★ 深度解读
Gemini Stiftung Leipzig
让操作者设定余弦相似度质量下限，自动决定每层最小位宽，实现消费级GPU上的大模型高效推理
BEAM：通过二值掩码实现MoE动态专家路由
🧭 LLM ★ 深度解读
Alibaba Group · Peking University
提出BEAM，学习二值掩码实现token自适应专家稀疏激活，保留98%性能，MoE层FLOPs减85%，解码加速达2.5倍
混合专家模型缩放：从μP到最大尺度稳定性参数化
🧭 Training ★ 深度解读
University College London · Amazon · University of Tübingen
提出最大化尺度稳定性参数化 (MSSP) 解决 MoE 联合缩放时的动态退化问题，恢复学习率迁移和单调性能增益
简单统一缩放达成奥赛金牌级推理
🧭 Reasoning ★ 深度解读
上海人工智能实验室 · 香港中文大学 · 清华大学 · 上海交通大学 · 北京大学
一套 SFT-RL-TTS 统一流程将 30B-A3B 模型推向数学与物理奥赛金牌水平，并展现跨领域科学推理迁移