How Sparse Probability Maps Shape Mixture-of-Experts Routing
稀疏概率图如何影响 MoE 路由训练行为
🧭 MoE 路由 · 稀疏概率图训练行为 ★ 深度解读
Técnico, Universidade de Lisboa · INESC-ID · Instituto de Telecomunicações · ELLIS Unit Lisbon · Gandara AI
通过可控实验揭示稀疏概率图的零输出能力不会自动带来 token 级专家参与，参与由阈值与 learned score 分布共同决定
📌 工作参考价值（4 点）
- 若线上大模型采用 MoE，不要指望单独换用 sparse map 实现动态专家数；必须同时控制 router score scale（如学习 temperature 或显式正则化），否则稀疏图可能在训练后回到稠密行为。
- 推理阶段弹性专家预算：sparsemax 等稀疏图在 K 从 2 增到 8 时几乎不增加 loss（0.02 nats vs softmax 0.58），适合电商在线服务根据负载动态调整专家数而不显著损害效果。
- 负载均衡目标需适配 sparse map：使用 full probabilities 时零概率专家得不到平衡梯度，建议在 sparse map 下测试不同的 auxiliary probability（如 softmax 概率）或损失权重，实际效果不一定改善，需要验证。
- 评估路由时区分 nominal load 与 contributor load，后者剔除零权重 filler，更能反映真实计算分布；normmax 名义负载均匀但实际 contributor load 明显不平衡，工程实现应统计 contributor load 而非 nominal load。