UniFormer: Efficient and Unified Model-Centric Scaling for Industrial Recommendation
UniFormer：统一的模型中心缩放框架用于工业推荐
🧭 模型中心缩放 · 统一特征与任务交互 ★ 深度解读
Kuaishou Technology
统一特征空间与任务空间的联合缩放，实现快手线上观看时长+0.7%~1.1%提升，推理加速48%
📌 工作参考价值（4 点）
- 语义分组 tokenization 实现用户-物品解耦：将无序列特征分为与候选物品独立/依赖两组，推理时独立部分计算一次复用所有候选，大幅降低时延；可借鉴于电商推荐中用户画像、上下文等请求级特征的重用。
- 多视图 FFN 灵活分配参数：为序列（S-FFNs）、无序列（NS-FFNs）、任务（T-FFNs）分别配备独立 FFN，避免容量瓶颈，支持定向扩容；在广告排序模型中可对不同特征类型（行为、属性、任务）配置可独立扩展的模块。
- 多序列交叉注意力防止偏好塌缩：短/长行为序列分离交叉注意并自适应融合，保留异构兴趣；电商场景可对点击、收藏、加购等不同长度序列独立建模后再融合，提升个性化。
- 任务 token 参与注意力交互：将任务特征作为 query 与高阶特征做交叉注意力，再自注意力捕获任务间关系，可替代传统 MMoE 等多任务模块，便于统一缩放。