WHALE: A Scalable Unified Model for Recommendation with Wukong-HSTU Architecture
WHALE：基于Wukong-HSTU的可扩展统一推荐架构
🧭 可扩展推荐架构 · 特征交互与序列建模统一 ★ 深度解读
Meta Platforms, Inc.
通过逐层注意力融合将Wukong特征交互与HSTU序列建模统一，实现可扩展的工业推荐模型
📌 工作参考价值（4 点）
- 逐层注意力融合设计：在排序模型中，不推荐简单的“先压缩序列再拼入浅层交互”方式，而是像WHALE那样，在每一层用特征交互的输出作为query去关注行为序列，让高阶交叉能反复检索细粒度历史证据，可移植到电商/短视频的候选感知历史建模。
- 注意力实现与效率优化：共享KV减少显存带宽；根据query长度与序列长度的不对称性动态选择query-parallel或KV-parallel的反向计算路径，提升吞吐；用shared-gate SwiGLU替换标准SwiGLU，FFN计算量降低33%。这些trick可直接用于自研注意力模块的加速。
- 消除CPU-GPU同步：在线推理中通过shape hint tensor避免动态形状导致的同步开销，单点可节省1~5ms延迟，适合对延迟敏感的大型排序模型。
- 统一架构的缩放收益：增加序列长度、模型深度和宽度均带来一致的离线收益，且在线主指标+0.113%仅付出5%吞吐下降，说明该架构在工业场景中具有成本有效的扩展性。