Higher-order pruning of experts in mixture-of-experts language models
MoE 语言模型中专家的高阶剪枝
🧭 MoE 专家剪枝 · 二阶交互建模 ★ 深度解读
AWS Agentic AI · AI Fundamental Research
提出 HOPE 二阶专家剪枝，考虑专家协同交互，显著优于一阶方法，在高剪枝率及 Agent 任务上优势更大
📌 工作参考价值（4 点）
- 对业务中部署的大规模 MoE 推荐/排序模型，可参考 HOPE 的交互矩阵思路，在专家剪枝时不仅看单个专家的激活/输出贡献，而是记录 pair 共激活的乘积，构建 F 矩阵并解 QP；工程实现轻量，校准开销仅增加 6-7%，QP 每层 1-2 秒。
- 剪枝校准集需匹配目标场景：HOPE 在 coding/agentic 校准集上表现不同，建议按业务流量（搜索、推荐、广告）分别采集校准数据，避免跨域剪枝性能损失。
- HOPE 保留的专家组具有高协同评分，剪枝后模型可作为 downstream SFT 起点且优势持续，适合在业务中先剪枝再微调以进一步恢复/提升效果。
- 高剪枝率（40-50%）释放内存最多，正是部署价值最大的区间，此时二阶交互优势最显著；若业务需要极限压缩，应优先采用二阶剪枝而非简单一阶方法。