Grouped Query Experts: Mixture-of-Experts on GQA Self-Attention
分组查询专家：GQA上的混合专家自注意力
🧭 稀疏注意力·动态查询头路由
FrontiersMind
在GQA中为每个token动态路由仅部分查询头，匹配密集基线且长上下文prefill加速1.7-1.8倍。
📌 工作参考价值（4 点）
- 在推荐模型的Transformer序列编码中，若已使用GQA减少KV缓存，可直接引入GQE：保持KV头全激活，仅对查询头做token级稀疏路由，降低长序列用户行为建模的注意力计算量。
- 路由选择可根据token难度（如特征重要性分数）设计轻量线性路由器，在训练时加入负载均衡损失防止头利用率崩塌，这一点与普通MoE一致，可直接复用现有MoE工程组件。
- 长上下文推理加速明显，适合搜索推荐系统中需要处理用户长期行为序列（如数月点击历史）的场景，prefill阶段获得约1.8倍加速，同时保持下游任务精度无损。
- 在资源受限的Agent多轮对话或生成式推荐中，KV缓存占用常为瓶颈，GQE保留了GQA的KV共享优势，又额外节省查询头计算，可以作为移动端或边缘推理的候选方案。