UniMoMo: Expert Merging-Based MoE Acceleration for Large Recommendation Models
UniMoMo：基于专家合并的推荐大模型 MoE 加速
🧭 MoE 压缩加速推荐模型
Kuaishou Technology · Hohai University · Wuhan University · ByteDance · Alibaba (Ant Group)
用无标签校准集度量专家功能相似性，结合路由曝光保护高频专家，将训练后推荐 MoE 压缩为小 MoE 并保持 NDCG
📌 工作参考价值（4 点）
- 若业务推荐模型已采用 MoE，可借鉴 UniMoMo 做不同 serving budget 的模型档位：用同一训练后 checkpoint 压缩出 2/4/8 等专家版本，线上按延迟或吞吐切换，避免为每个档位重新训练。
- 压缩时不要只看参数距离，可复用无标签校准集（用户交互序列/候选商品）比较专家在相同输入上的输出相似度，做功能聚类合并；这比 L2 权重距离更贴近推荐行为，能降低合并带来的排序损失。
- 引入 layer-adaptive protection：按 routing exposure（专家被路由的概率/流量占比）识别高频专家，限制其参与合并。电商推荐中头部流量专家通常承担关键用户群，保护它们能有效控制 NDCG 回退，尤其适合流量分布高度倾斜的场景。
- 该方法不增加线上压缩专用模块，最终导出标准 MoE，可直接替换现有推理服务；在 A100 上可取得 1.28×–2.21× 加速，适合广告/推荐精排阶段降低推理成本。