How to Scale Mixture-of-Experts: From muP to the Maximally Scale-Stable Parameterization
混合专家模型缩放：从μP到最大尺度稳定性参数化
🧭 Training ★ 深度解读
University College London · Amazon · University of Tübingen
提出最大化尺度稳定性参数化 (MSSP) 解决 MoE 联合缩放时的动态退化问题，恢复学习率迁移和单调性能增益