Let's Scale Step by Step: Compute-Efficient Hyperparameter Transfer for Large-Scale Mixture-of-Experts
一步一步扩展：大规模混合专家模型的计算高效超参数迁移
🧭 大规模MoE训练超参数迁移
Kakao Corp. · Upstage AI
提出计算高效的两步超参数迁移框架，通过宽度缩放迁移与token外推预测大规模MoE最优学习率
📌 工作参考价值（3 点）
- 在训练大规模 MoE 推荐/广告模型时，可采用 μP 参数化 + 宽度缩放代理模型快速确定学习率，避免对完整尺寸模型做昂贵的超参扫描。对于需要频繁调整专家数量或模型宽度的业务，μP 让最优 LR 在不同宽度间稳定迁移，显著降低调参成本。
- 利用小代理模型在有限 token 预算下的 LR 扫描结果，通过线性回归外推到生产模型的超长训练 horizon（如 10T tokens），R²=0.95 表明该迁移对 MoE 架构高度可靠。训练 infra 团队可据此搭建低成本 proxy 流程，预测大模型最优配置。
- 若业务落地 DeepSeek-V3 类 MoE 架构（含 Multi-head Latent Attention 和 Muon optimizer），需同步引入对应的 μP 适配，否则学习率等配置无法跨模型尺寸复用。工程上应把参数化与优化器选择固化进训练代码，保证迁移性。