Accelerating Dense LLMs via L0-regularized Mixture-of-Experts
L0 正则化混合专家加速稠密大模型
🧭 LLM 推理加速 · L0 稀疏 MoE
YWZ, Chengdu, China · FuTu AI, Shenzhen, China · Wise AI, Melbourne, Australia
提出 L0-MoE，用 L0 正则化将稠密 LLM 转为稀疏 MoE，实现最高 2.5 倍加速且性能几乎不降
📌 工作参考价值（3 点）
- 在需要低延迟、高吞吐的 LLM 推理场景（如电商搜索 Agent、对话式推荐），可借鉴 L0-MoE 把已有 dense 模型快速转为稀疏 MoE，无需从头训练 MoE，节省大量计算资源。
- 动态 batching 与 domain-aware 数据集构建方法可迁移到垂直领域小模型的加速训练：先用聚类混淆矩阵挑选领域代表性数据，再动态组 batch，提升训练效率。
- 若业务中需要同时覆盖多领域（如搜索、广告、推荐），可考虑用 L0 正则化自动学习专家路由，减少手工设计 MoE 结构的工作量，同时获得 2 倍以上推理加速。