Linear Attention Architectures: Mechanisms, Trade-offs, and Cross-Layer Routing
线性注意力架构对比与跨层路由
🧭 线性注意力架构对比与跨层路由
ETH Zurich, D-INFK · ETH AI Center, ETH Zurich
比较四种递归线性注意力并提跨层值路由，Kimi Delta Attention+Muon损失最低
📌 工作参考价值（4 点）
- 推荐模型处理长用户行为序列时，可用 Gated DeltaNet 等线性注意力替换标准注意力，降低计算复杂度，支持更长序列建模，提升训练吞吐。
- 跨层值路由（CLVR）提供廉价的信息跨层传递方式，可借鉴至深度推荐模型（如多塔、DeepFM）中，将底层值张量路由到高层，增强信息流动。
- 优化器选择：Muon 在相同架构下比 AdamW 验证损失更低，若任务侧重点效果可尝试 Muon（注意稳定性）。
- 混合堆栈（部分标准注意力+部分线性注意力）平衡效果与效率，适合推荐序列编码器，上游用标准注意力捕获近期行为，下游用线性注意力处理长历史。