Relax Within, Balance Across: Geometry-Guided Load Balancing for Vision-Language Mixture-of-Experts
内部放松，跨间平衡：视觉语言MoE的几何引导负载均衡
🧭 多模态MoE负载均衡优化
Peking University · Peng Cheng Laboratory · Qwen Team · Sun Yat-sen University
提出ReBA，通过模态分离与图像内放松路由，解决视觉语言MoE在不同token混合下的负载失衡
📌 工作参考价值（4 点）
- 多模态推荐模型中，图像/文本token数量随请求动态变化时，可借鉴ReBA对图像和文本分别计算负载均衡损失，避免跨模态误差抵消。
- 对于图像特征，按源图像分组，每个图像内均匀路由（Relax Within），能有效抑制分辨率变化导致的负载波动，适合电商商品图片处理。
- 利用“固定负载曲线”离线分析模型在不同token混合比例下的负载表现，提前预估推理瓶颈，指导工程部署资源分配。
- 实现轻量：只需在路由器添加模态标识和图像分组，不改变主干结构，易于在现有MoE推荐模型上试验。