BEAM: Binary Expert Activation Masking for Dynamic Routing in MoE
BEAM:通过二值掩码实现MoE动态专家路由
🧭 LLM ★ 深度解读
Alibaba Group · Peking University
提出BEAM,学习二值掩码实现token自适应专家稀疏激活,保留98%性能,MoE层FLOPs减85%,解码加速达2.5倍
每日 AI / 电商 / 推荐系统 / Agent 论文精选
1 篇
BEAM:通过二值掩码实现MoE动态专家路由
Alibaba Group · Peking University
提出BEAM,学习二值掩码实现token自适应专家稀疏激活,保留98%性能,MoE层FLOPs减85%,解码加速达2.5倍