Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position
长上下文混合模型机理 1.1：从混合注意力到混合位置
🧭 混合注意力 · 长度外推与上下文扩展
Fudan University · Shanghai Innovation Institute · OpenMOSS Team
揭示 NoPE 与位置偏置注意力的协作机理，提出滑动窗口线性注意力实现 16 倍免训练长度外推
📌 工作参考价值
- 在电商/推荐场景建模超长用户行为序列时，可采用「NoPE full attention + 滑动窗口/线性注意力」混合架构替代全注意力，降低长序列推理的 KV cache 与计算成本；NoPE 使用 log-scale attention scaling 可免训练外推到训练长度之外。
- 若业务模型需长上下文继续预训练，避免 SWA 混合的短上下文陷阱：滑动窗口不要保持 128，建议扩到 2048 并加入 LongCE 损失；若用 LA 混合，优先利用其训练长度内的拟合优势，OOD 外推需额外设计。
- 在排序/召回模型中引入无位置 attention 头做全局检索时，可参考 3:1 混合比；通过 attention entropy 与 top-k hit rate 分析头功能，避免盲目增加 NoPE 比例导致噪声上升。
- 评估长上下文检索能力时，除下游指标外可加入 RULER/BABILong 与 attention entropy 分析，快速定位长程依赖失效是架构问题还是训练问题。
动机：LLM 架构正从全注意力转向混合注意力，以提升长上下文效率与外推能力，但混合模型为何有效、不同注意力如何协作仍缺乏机制级理解。长上下文在 Agent 时代成为关键约束，单一高效注意力不可靠，混合架构值得系统研究。
方法关键点：
- 在 376M/776M/1B（另验证 3B）规模上，对比 RoPE 全注意力、RoPE-NoPE、SWA-NoPE、GLA/GDN-NoPE 的 layer-wise/head-wise 混合，默认混合比 3:1，SWA 窗口 128。
- 用 attention entropy、top-k hit rate、retrieval head 比例刻画 NoPE 与位置偏置注意力的分工。
- 对 SWA 混合在长上下文继续预训练中增大窗口并加入 LongCE 损失；对 LA 混合提出 Sliding-Window Linear Attention，限制位置偏置注意力窗口并强化 NoPE 全局聚合。
关键实验：
- 4k 短上下文预训练 50B tokens + 32k 长上下文继续预训练 5B tokens；评估 PG19 PPL/LongPPL、RULER、BABILong。
- SWA-NoPE 外推阶段最强，但继续预训练后被 LA 混合反超（Seesaw Effect），layer-wise 尤其明显；SWA 窗口从 128 扩至 2048 并加 LongCE 后可与 GDN-NoPE 竞争。
- LA 混合训练长度内更强但 OOD 外推弱；Sliding-Window Linear Attention 实现 16× 训练免外推，在 64k NIAH-SK1 保持 100% 准确率。
- NoPE 负责高熵、高 hit rate 的粗全局定位，RoPE/线性注意力负责低熵降噪；混合比 3:1 通常最优。
最值得记住的一句话：混合位置是混合模型长上下文能力的核心——少数 NoPE 注意力做全局粗召回，多数位置偏置注意力做局部降噪，二者边界随混合比变化。