循环 MoE 超越两轮的可扩展训练方案
🧭 循环 MoE 深度扩展与训练稳定化 ★ 深度解读
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences · Peng Cheng Laboratory · University of Chinese Academy of Sciences · The Hong Kong Polytechnic University · University of Surrey
LOOM 用残差缩放、输入重注入、逐循环路由与 Looping Residual 让 MoE LLM 稳定循环 9-12 轮并优于基线
📌 工作参考价值（4 点）
- 在生成式推荐或 Query 生成中若采用 Looped LLM / 共享层 MoE，可复用 γ=λ/(H√M) 的残差缩放和逐轮输入重注入，防止多轮迭代后表示漂移与训练发散，尤其适合反复生成候选 query 或语义 ID。
- 在 FLOPs 受限的在线推理中，建议共享专家但为每轮循环配置独立 router：只增加少量路由参数，就能避免专家选择坍缩，让每轮实际激活不同 expert，提升循环计算收益。
- Looping Residual 以固定衰减 EMA 仅存一个累加张量就能保留跨循环历史，适合在低延迟排序/召回中叠加多轮细化信号，显存开销可忽略。
- 训练深层循环模型时采用分段反向传播（每 K=3 循环为一段、段间 detach），峰值显存几乎不随循环数增长，训练更快更稳，值得 GPU/NPU 受限的业务复现。
E-MoE：面向非因子化扩散语言模型的增强型专家混合
🧭 非因子化扩散语言模型 · MoE 路由
Applied AI Institute, Moscow, Russia
利用 MoE 路由决策作为离散共享隐变量，构建非因子化反向过程，在不增加激活参数下提升少步生成质量
📌 工作参考价值（3 点）
- 若业务中存在少步文本生成需求（如创意文案、标题生成、query 补全、push 文案），E-MoE 可用 MoE 路由决策作为离散共享隐变量，比连续 VAE latent 更不易 posterior collapse，且不增加激活参数，适合在线推理。
- 非因子化建模思路可迁移：在生成式推荐或 query 生成中，token 间常有强相关性（属性组合、标题模板、风格约束），可尝试将反向过程构造为多个因子化分布的 mixture，通过轻量 MoE router 输出离散 latent 来捕获位置依赖。
- 工程实现上：共享路由决策不增加 active parameters，意味着在低 NFE 场景下推理时延可控；可在现有 MDLM 基础上仅替换反向建模方式，无需重新设计主干网络。
L0 正则化混合专家加速稠密大模型
🧭 LLM 推理加速 · L0 稀疏 MoE
YWZ, Chengdu, China · FuTu AI, Shenzhen, China · Wise AI, Melbourne, Australia
提出 L0-MoE，用 L0 正则化将稠密 LLM 转为稀疏 MoE，实现最高 2.5 倍加速且性能几乎不降
📌 工作参考价值（3 点）
- 在需要低延迟、高吞吐的 LLM 推理场景（如电商搜索 Agent、对话式推荐），可借鉴 L0-MoE 把已有 dense 模型快速转为稀疏 MoE，无需从头训练 MoE，节省大量计算资源。
- 动态 batching 与 domain-aware 数据集构建方法可迁移到垂直领域小模型的加速训练：先用聚类混淆矩阵挑选领域代表性数据，再动态组 batch，提升训练效率。
- 若业务中需要同时覆盖多领域（如搜索、广告、推荐），可考虑用 L0 正则化自动学习专家路由，减少手工设计 MoE 结构的工作量，同时获得 2 倍以上推理加速。
验证器引导的可解释推理框架：金答案锚定QLoRA与组相对RLVR
🧭 神经符号推理 · RLVR 可解释性
University of Information Technology (UIT), Ho Chi Minh City, Vietnam · Ho Chi Minh City University of Technology (HCMUT), Vietnam · Vietnam National University, Ho Chi Minh City, Vietnam · University of Economics Ho Chi Minh City (UEH), Vietnam · Viet Nam – The Netherlands Programme (VNP), Vietnam
结合金答案锚定QLoRA、任务感知符号路由和组相对RLVR，在保持答案正确率的同时大幅提升推理可解释性
📌 工作参考价值（4 点）
- 可借鉴「符号验证器 + 模型自一致性」的双层校验：在电商 Agent 中，对价格计算、优惠规则等可形式化任务部署轻量符号求解器，对 LLM 候选输出做系统级修正，可在不改变模型参数的情况下提升可靠性。
- RLVR 中的多维奖励设计可迁移：将奖励分为答案正确性、证据一致性、推理深度/可解释性三类，能单独优化推理结构而不牺牲准确率；在推荐解释生成、Agent 决策理由生成等场景可借鉴。
- 任务感知路由：用轻量路由器将问题分发给不同专家（符号求解器 vs 神经模型），减少不必要计算并提高针对性；在电商多任务 Agent 中可按意图分流到不同工具或验证模块。
- QLoRA 微调时锚定权威答案（gold-anchored）可减少幻觉；在构建商品知识问答或客服 Agent 时，用结构化知识库答案做监督信号，提升生成内容的可靠性。
混合专家架构的统计理解：路由、稀疏激活与共享专家的风险界
🧭 MoE 统计学习理论 · 稀疏路由与共享专家 ★ 深度解读
Tsinghua University · East China Normal University · Beijing Institute of Mathematical Sciences and Applications
用局部化聚合视角统一分析 MoE，给出稠密/Top-K 路由与共享专家的 oracle 风险界
📌 工作参考价值（4 点）
- 在推荐排序模型用 MoE 时，把共享专家设计为全场景/全域公共塔，路由专家只学不同场景、人群或物品类的残差；可减少路由专家重复学习公共模式，降低有效复杂度并稳定训练。
- 做大容量稀疏 MoE 时不要只加专家数 M：理论显示近似误差随 M/K 的 1/d 次方下降，但路由估计代价约 M d/n log(M d n)，应结合线上数据量选择 M 和 K，避免专家数远超样本可支撑规模。
- Top-K 路由对边界敏感：高维稀疏特征下线性路由容易在决策边界附近频繁切换 active expert；可加入路由参数分离正则/边界稳定性约束，并监控 mini-batch 上 active set 稳定性。
- 可将论文中的“离散化候选路由 + 在线指数加权聚合”作为路由蒸馏或稳定化 baseline，不直接依赖端到端非凸联合优化，也能得到可解释的路由不确定性。
超越模态和谐：正交净化与拓扑引导MoE的冲突感知多模态推荐
🧭 多模态推荐 · 去噪融合
City University of Hong Kong · The Hong Kong Polytechnic University
提出OrthoRec，用协同引导正交净化和拓扑感知MoE解决多模态推荐中的模态-拓扑冲突
📌 工作参考价值（4 点）
- 多模态融合改造成残差净化思路：电商图文/视频常存在标题党、主图诱骗，直接 concat 或 gate 会污染协同信号。可借鉴 CGOP：先用纯协同 embedding 作为锚，把视觉/文本特征投影到平行/正交方向，只保留平行分量并做能量归一化后残差注入，低成本缓解模态噪声。
- 多模态专家融合不用 softmax 门控：TAR-MoE 用解耦 sigmoid 门控替代传统 softmax 注意力，打破“模态之间零和竞争”，每个模态专家可独立决定注入强度。在电商多模态排序/召回模型中可直接替换融合层，避免视觉强、文本弱的 item 被错误压制。
- 对比学习负样本别强行对齐：safe-SSL 对矛盾 pair 动态降低对比损失，适合电商中图像与交互语义不一致的样本。如果业务在多模态对比学习时遇到噪声对，可加入置信度惩罚或自适应温度，而不是全量强制对齐。
- 稀疏 item 鲁棒性有直接价值：实验显示对稀疏 item 的改善，说明该去噪机制在新品/长尾商品多模态建模上可能比复杂跨模态模型更稳。
多模态学习的自适应层次表征联盟
🧭 多模态分层共享-私有专家框架
Fudan University · University of Southern California · Cornell University · University of New South Wales · Peking University
提出AHRA分层共享-私有专家框架，缓解跨模态语义粒度错配并提升噪音与缺失鲁棒性
📌 工作参考价值（4 点）
- 多模态商品理解中，不要默认各模态在最终层对齐；用 layer-wise CKA 识别语义深度差异：商品文本/标题往往需深层抽象，商品图/短视频帧的视觉证据在浅中层就可判别，可在对应层级做 shared 对齐，减少浅层视觉信息被 flatten。
- 共享/私有专家分解 + private decorrelation 可迁移到多通道用户/物品表示：跨场景共享专家建模共性，场景或模态专属专家保留细粒度信号，避免搜索/推荐/广告多域数据互相干扰。
- sparsity-controlled soft-gating（foreground exam）适合多模态 item tower 的 token/feature 选择：对缺失或噪声模态自动降权，增强 task-relevant private token，提升线上缺图/缺描述时的鲁棒性。
- 层次 co-fusion 的 intra-level coordination + inter-level semantic selection 可用于多尺度融合商品图文与用户行为序列，动态选择最有利的语义层级，而非固定 concat/attention。
层退出融合增强紧凑 LLM 的判别式序列推荐
🧭 判别式 LLM 推荐 · 层退出动态融合 ★ 深度解读
The University of Queensland · Griffith University · Edith Cowan University · University of Notre Dame
在判别式 LLM 推荐中引入多层预测出口与连续路由器，以紧凑模型实现全库排序并逼近大模型精度
📌 工作参考价值（4 点）
- 判别式 LLM 排序范式可直接用于召回/粗排全库打分：用预训练 SASRec ID embedding 投影进 LLM，取 response token 表示做 softmax，避免自回归解码，单用户推理 6-9ms，适合线上候选集大但算力受限的场景。
- 多层 exit 融合是补偿小模型的有效 trick：在 compact LLM 每层后接预测头，融合不同深度分数，实验在 Toys/Beauty/Yelp 上以 1.7B/3B 模型超过部分 4B/8B E4SRec，说明深度集成可替代盲目上大模型。
- 连续 ReLU 路由 + target-k hinge loss 可按用户序列复杂度动态选择 1~k 个 exit，避免固定 top-k 对简单序列浪费、复杂序列不足；该路由仅需训练一个投影矩阵，无额外参数，便于线上轻量自适应推理。
- 三阶段冻结训练允许共享同一 backbone 训练多个不同 target-k 的路由器，用于不同设备算力预算（GPU/CPU/边缘），对电商多端部署有直接参考价值；Z-loss 和 load balancing 可保证混合精度训练稳定。
Qwen-CUA：纯视觉原生计算机操控，大规模迭代训练攻坚长程任务
🧭 原生计算机使用Agent · 大规模RL+迭代训练 ★ 深度解读
Qwen Team · Xlang Lab
仅凭截图与键鼠的原生计算机使用Agent Qwen-CUA，在八大基准上全面超越Qwen3.7并媲美GPT-5.5与Claude Opus 4.8
📌 工作参考价值（4 点）
- 可验证交互式训练范式可迁移至电商/推荐Agent：构建4万可验证任务 + 云端近10万vCPU并发环境完成大规模RL训练，该思路可直接用于训练电商商品操作用户界面Agent、客服流程自动化Agent。
- 长上下文视觉管理trick值得直接复用：保持20张活跃截图 + 每10步折叠旧截图，既保留近期视觉证据又维持前缀稳定以改进KV缓存重用，可迁移到需要长步骤的购物引导、商品浏览、多页面操作场景。
- 迭代式数据刷新与RL任务校准：每轮用当前模型分析失败案例，针对弱领域补充SFT数据、重校准RL任务（仅保留有提升空间的样本），可应用于推荐策略Agent的渐进式优化，避免过度重复无效训练。
- 混合动作空间（GUI操作+Bash命令）：实验证明混合操作能大幅缩短交互轮次，对电商自动化（如批量商品上下架、价格调整）可直接借鉴，但需注意当前模型的路由策略尚未完美，可配合显式路由监督提升实用性。
工业级推荐系统的异构排序：Google Discover 案例研究
🧭 多任务 MoE 异构排序 · 跨类型公平性 ★ 深度解读
Google
提出 HA-MoE 架构将内容类型异构信号显式注入门控与专家调制，通过 LENS 可观测框架与 DL-AUC 指标打破负迁移并保障跨类型排序公平性。
📌 工作参考价值（4 点）
- 用显式类型信号调节 MoE 门控与专家：在电商/信息流中若需混排广告、直播、图文等多种内容，可在 MMoE 基础上将 item_type 等离散特征直接拼接入门控输入，并对专家输出做 FiLM 式的 scale & shift 调制，低成本实现内容自适应，避免少数类被淹没。
- 轻量级跨类型排序公平性指标：业务中常用全局 AUC，但可能掩盖广告压制短视频等问题。可参考 DL-AUC = λ·Micro-AUC + (1-λ)·Macro-xAUC，计算各内容类型间正负样本的交叉 AUC 均值，作为模型选优的硬约束，尤其适合有流量倾斜风险的场景。
- MoE 专家分工的可视化与监控：LENS 的激活切片能直观展示不同内容类型/任务所用专家的分布；PIEM 通过匈牙利匹配计算跨 run 的专家功能相似度，可做成自动巡检指标，在 warm-start 训练中快速发现专家坍缩或功能漂移，比等跑完完整评估更快更省。
- 多任务冲突的缓解技巧：共享底层 MLP 容易造成正负目标 seesaw，MMoE 直接替换有时仍会恶化某项。HA-MoE 通过异构信号解耦专家泛化能力，可复制到广告/搜索的「点击率+转化率+负反馈」联合优化中，尝试将场景/媒体特征注入类似 gate 和 expert 内部。
超越几何互补：稀疏MoE路由中的一致重叠
🧭 稀疏MoE路由中的一致重叠与功能冗余分析
College of Computer Science and Technology, Zhejiang University · Department of Aeronautical and Aviation Engineering, The Hong Kong Polytechnic University
发现MoE路由中专家子空间大量重叠，但多专家计算仍具功能增益，称“一致重叠”。
📌 工作参考价值（4 点）
- 在推荐系统多专家路由模型中，不应仅凭专家表示空间的几何相似性进行剪枝或合并；需通过冻结路由或受控训练实验评估功能冗余，避免删除有用专家。
- 路由上下文交互项为负，设计路由策略时可考虑该效应，适当保留多专家以弥补前缀信息带来的选择偏好缩小。
- 进行专家负载均衡或容量分配时，可引入Expert Subspace Separation Index (ESSI) 等指标量化子空间分离度，结合下游任务表现综合决策。
- 对Agent多智体系统中的路由，可从共享邻域选择相关专家，不必强制专家分化至互不相交，仍可获得多专家协同增益。
Chimera：混合视觉扩散 Transformer 的设计与 Chinchilla 缩放
🧭 视觉扩散模型的架构与缩放规律
Adobe Research
提出混合扩散 Transformer 及异配缩放规则，在图像/视频生成中实现 7.3× 计算效率提升与 30 秒零样本长度外推
📌 工作参考价值（5 点）
- 长上下文高效建模方案可迁移：Kimi Delta Attention (KDA) 实现 O(N) 复杂度的全局状态跟踪，可用于电商场景中长序列用户行为建模或长视频推荐，降低注意力成本。
- 多模态统一流处理：将文本、图像、视频 token 按光栅顺序混合，无需位置编码，可直接借鉴到电商多模态商品描述（图文视频）的统一表征中，简化预处理流程。
- MoE 稀疏活化策略：稀疏 MoE 层在增大模型容量的同时控制激活参数量，适合推荐大模型（如生成式推荐）的扩展，可平衡效果与推理时延。
- 异构架构的模块化缩放（HeteroP）：根据张量功能扇入与深度动态分配宽度/深度参数，为推荐模型的不同模块（特征交互、序列建模等）提供差异化缩放指导，避免均匀缩放浪费。
- 计算最优数据配比洞察：图像预训练中激活参数量与训练 token 数近乎均分算力，视频则略偏向参数量——可为多模态推荐模型的训练预算分配提供参考。
Kimi K3：开源前沿智能体——2.8T参数MoE模型与强化学习实践
🧭 大规模 MoE 模型前沿训练与强化学习 ★ 深度解读
Moonshot AI
开源2.8T参数MoE模型，融合KDA、AttnRes和Stable LatentMoE架构，通过多领域多推理努力强化学习达到封闭前沿水平
📌 工作参考价值（4 点）
- 强化学习训练范式：部分回滚（partial rollout）方案允许长周期任务跨迭代训练，对搜索 / 推荐系统中基于用户长期反馈的强化学习优化具有直接借鉴意义。
- 多教师在线蒸馏（MOPD）：将多个领域、不同推理努力水平的专家策略融合为单一模型的技术，可应用于合并不同排序目标的推荐模型（如点击率、转化率、多样性等）。
- 推理部署优化：全后训练阶段集成的量化感知训练（QAT）及 EAGLE-3 投机解码微调，可降低大模型推荐 / 搜索推理成本，对线上部署有实际工程价值。
- 长上下文架构设计：KDA 与 Attention Residuals 的混合注意力可高效处理超长序列，可迁移至用户行为序列建模，支持更长行为记忆和更精准的长期兴趣提取。
分布偏移下校准混合专家模型
🧭 分布偏移下 MoE 校准
Johns Hopkins University
证明硬路由 MoE 的专家级校准在分布偏移下仍能保证全局校准，而软路由不成立，并提出对抗重加权提升校准-准确率权衡
📌 工作参考价值（4 点）
- 推荐/广告系统常面临分布偏移（促销、季节、新用户群），使用 MoE 结构时可直接借鉴本文结论：硬路由下只需校准各专家即可保证整体概率可靠性，工程实现更轻量。
- 若业务需软路由以获取更平滑的专家组合，可用提出的对抗重加权损失（惩罚偏移下的路由聚合校准误差）微调模型，尤其适合高价值子集（高消费用户、长尾物品）上的概率估计优化。
- 广告出价、CTR 预估对概率校准极其敏感，该方法在不牺牲精度的前提下提升 ECE，可直接集成到训练 pipeline 中，作为辅助损失项。
- 在 Agent 多智体或任务路由场景，不同专家处理不同意图/域，分布偏移常见，本文的理论分析和训练技巧可指导路由策略选择与校准保障。
MoE 语言模型中的专家层循环绑定
🧭 MoE 参数共享与内存优化
EPFL
跨层共享专家参数，保持独立路由，几乎无损失地将 MoE 内存占用减半
📌 工作参考价值（4 点）
- 大型推荐模型的内存压缩：若采用 MoE 做多任务或用户分群建模，跨层共享专家 FFN 可近乎砍半参数内存，同时保持独立路由，适合搜索/推荐等需低延迟服务的场景。
- Agent 模型的低成本扩展：构建多专家 Agent 系统时，可通过层间专家复用减少冗余，维持不同层路由独立以保留推理多样性，平衡能力与资源。
- 工程实现注意：复用需保证每层 router 和 attention 独立；可直接应用于 OLMoE/Qwen3/DeepSeek 等主流 MoE 结构，现有模型微调或蒸馏时可尝试专家合并。
- 与 LoRA/量化结合：专家共享后为稀疏模块再留出容量加 LoRA 或小块微调，可在内存受限设备上部署更大型的生成式推荐模型。
Nemotron 3 Ultra：面向 Agent 推理的 550B 混合专家 Mamba-Attention 开源模型
🧭 Agent 专用大模型 · 混合 Mamba-Attention MoE ★ 深度解读
NVIDIA
总参数 550B、活跃 55B 的混合 Mamba-Attention MoE 模型，在 Agent 推理上精度对齐且推理吞吐量最高达同规模模型的 5.9 倍
📌 工作参考价值（4 点）
- 长上下文高效推理架构可迁移到推荐 Agent 中：Hybrid Mamba‑Attention + MoE 大幅降低 KV cache 与注意力成本，适合需要维持超长对话历史或文档上下文的推荐/搜索 Agent；可在电商客服、导购助手等场景落地类似模式，平衡推理延迟与能力。
- Multi‑Token Prediction 头可直接加速自回归生成：训练时加入共享权重的 MTP 头，上线后通过投机解码（speculative decoding）提升吞吐，对需要高并发生成回复的推荐理由、搜索词改写等场景有直接工程价值。
- 后训练中的多教师 On‑Policy 蒸馏（MOPD）可借鉴到工业 Agent 对齐：用领域专家 teacher 在 student 的 rollouts 上进行 token 级蒸馏，能在保持推理效率的同时注入多任务 Agent 能力（如工具使用、纠错），适合业务定制化 Agent 构建。
- 推理预算控制（reasoning effort control）可用于动态服务质量调节：允许在推理时根据负载动态调整思考深度，平衡效果与成本，可应用于推荐 Agent 的实时适配。
基于专家混合知识图谱检索增强的多智能体 LLM 推荐
🧭 多智能体 KG-RAG 推荐 · 查询感知检索与对齐优化 ★ 深度解读
The Hong Kong Polytechnic University · City University of Hong Kong · National University of Singapore
提出多智能体框架 MixRAGRec，通过查询感知的多粒度 KG 检索与联合优化，实现高效知识增强推荐
📌 工作参考价值（4 点）
- 查询感知的多粒度检索：根据用户查询复杂程度动态选择 KG 检索粒度（无检索/三元组/子图/连通图），避免简单查询过度检索、复杂查询检索不足，平衡成本与效果。电商搜索中可借鉴类似 MoE 路由，针对不同意图（属性筛选 vs. 宽泛需求）切换知识源。
- 结构化知识对齐 Agent：用专门的小型 LLM 将图结构知识转为自然语言摘要，减少噪声、保留推荐相关结构信息。在商品知识图谱场景下，可先用模板初转再让 Agent 精炼，作为 LLM 上下文注入。
- 多智能体联合优化（MMAPO）：使用共享奖励函数（推荐准确性 + 边际信息增益）并通过 GAE 估计优势，实现检索决策与内容生成的端到端训练。此框架可推广到需要协调离散选择（检索策略/API 调用）与连续生成（文案/推荐列表）的 Agent 系统。
- 对比偏好学习与硬负挖掘：在推荐模型中引入对比损失，自动挖掘困难负样本，能有效区分高度相似的候选物品。该方法可直接用于商品推荐排名模型的 fine-tune，提升 Top-K 精度。
故障感知混合专家模型实现消息级日志异常检测
🧭 日志异常检测 · 混合专家
University of Toronto
用LLM离线划分故障域并少量标注，训练轻量路由与专家模型，实现高效消息级异常检测。
📌 工作参考价值（4 点）
- 离线LLM + 轻量在线路由：业务监控中可先用LLM离线分析日志模板、划分故障类别，再将轻量路由器和专家模型部署到线上，实现实时异常检测，避免每次调用LLM的高成本。
- 少样本标注策略：每条模板至多标注K条行即可推导二元正常/异常标签，减少76倍标注量，适用于电商系统海量非结构化日志，快速冷启动异常检测。
- 未见事件ID泛化：FAME能检测86.3%未见事件ID的异常，解决模板漂移问题，适合动态变化的推荐/Agent系统。
- 故障域感知路由：MoE架构将不同故障模式分配给不同专家，可借鉴到电商多子系统下的异常定位，通过路由结果直接显式故障域，加速根因分析。
非对称生成式推荐：多专家投影与多面层次量化
🧭 RecSys ★ 深度解读
Tsinghua University · Tencent
提出AsymRec框架，解耦输入输出表示，用连续专家投影缓解输入端信息瓶颈，用多面子空间残差量化防止输出端维度坍塌，平均NDCG@10提升15.8%
HodgeCover：高阶拓扑覆盖驱动稀疏MoE压缩
🧭 稀疏MoE压缩 · 高阶拓扑
Princeton University
利用Hodge分解暴露MoE专家三元合并障碍，通过覆盖谐和核与临界三角形实现无学习压缩
📌 工作参考价值（3 点）
- 若业务模型包含MoE层（如多任务推荐、多域适配），可直接使用基于KL散度的专家合并障碍构建方法，并通过Hodge分解识别被成对信号掩盖的三元合并风险，避免压缩后精度异常下降。
- 方法无重训练，适合在线服务模型快速压缩；混合变体（HodgeCover + 权重剪枝）可灵活平衡保留质量与压缩率，提供现实可行的压缩前沿。
- 拓扑视角可迁移至其他多组件联合决策问题，如推荐中多兴趣路由模块、多Agent协作选择等，考虑高阶交互避免局部最优。