Parallax: Parameterized Local Linear Attention for Language Modeling
Parallax：参数化局部线性注意力用于语言建模
🧭 参数化局部线性注意力 · 架构优化器协同
Northwestern University · Tilde Research · University of Washington
提出可扩展的参数化局部线性注意力 Parallax，通过硬件感知优化和架构-优化器协同，在 LLM 预训练上实现帕累托改进
📌 工作参考价值（4 点）
- 若自研 LLM 或注意力模块用于召回/排序，可尝试 Parallax 的参数化局部线性注意力替代 softmax，预训练困惑度和下游迁移均有提升，且数值稳定。
- 硬件感知优化：Parallax 的解码核设计提高了算术强度，在批次和上下文变化时稳定匹配 FlashAttention 2/3，可参考其融合策略降低推理延迟。
- 架构与优化器协同：发现 Muon 优化器对 Parallax 至关重要，提示探索新架构时需配对特定优化器，否则可能无法释放潜力。
- 局部线性估计在记忆检索任务上偏差-方差更优，对于需要强联想记忆的场景（如长序列用户行为建模）提供理论基础。