Kernelized Linear Attention: Breaking the Capacity Wall with Symmetric Cones
核化线性注意力：用对称锥打破容量墙
🧭 高效线性注意力训练与推理
Department of Computer Science, University of Colorado Boulder
提出 KATA 框架，利用自对偶锥保证非负注意力权重，大幅提升线性注意力的联想记忆容量与吞吐量
📌 工作参考价值（4 点）
- 在用户长序列建模中可直接替换 softmax 注意力，KATA 的块状态形式和 O(log T) 深度扫描能将推理延迟降低一个数量级，适合稀疏行为序列的实时兴趣捕捉。
- 关联扫描（associative scan）和秩一 PSD 特征映射提供了一种参数高效的状态放大方法，可迁移到推荐系统的长程用户表征压缩，无需增加 KV cache 大小即可扩展记忆容量。
- 论文中的 Triton 融合内核实现（Flash-Attention 风格前向、块状态并行）可作为参考模板，优化现有推荐模型中的注意力层，特别是在 GPU 上处理超长序列时获得 2×-10× 的吞吐提升。
- 核特征映射的几何设计思路（Welch 下界、球形码）可用于生成式推荐的 Semantic ID 编码，提升 token 空间的容量与分辨力，缓解生成式推荐中的哈希碰撞问题。