Multi-State Linear Attention with Generalized Second-Order Routing
带广义二阶路由的多状态线性注意力
🧭 多状态线性注意力长上下文聚合路由 ★ 深度解读
Princeton University · Google DeepMind
提出MERLIN，用段内keys的一/二阶矩恢复query-段对齐的均值与方差，提升多状态线性注意力聚合路由
📌 工作参考价值（4 点）
- 长期用户行为序列建模：若用分段线性注意力/记忆状态压缩用户历史（按会话、时间窗分段），可借鉴二阶矩路由。当前均值pooling只捕捉平均兴趣，二阶矩能捕捉段内兴趣峰值与多样性，对定位“某一次强购买意图”更准，有助于CTR/CVR预估或召回。
- RAG/LLM生成推荐理由或广告文案：在长上下文多文档、多商品描述中，用query与段落keys的一阶+二阶矩计算相关性权重，可缓解仅基于位置或均值导致的近因偏差，让模型更均匀地利用中前段关键信息，适合检索增强生成中的证据选择。
- 工程落地：额外缓存每段keys的一阶/二阶矩开销很小（dr=128时约4–13%内存增量，参数增量与meanpooling相当）。建议为路由使用独立的key/query投影（shared-KQ会明显掉点），并采用可学习gate混合均值/方差项，而非固定系数。
- 注意该方法需要mid-training将单状态backbone转为多状态，无法即插即用；如果业务已有长序列记忆或State Space模型，可将其作为继续预训练阶段加入。