Attention Amnesia in Hybrid LLMs: When CoT Fine-Tuning Breaks Long-Range Recall, and How to Fix It
混合线性注意力模型的CoT微调长程遗忘及修复方法
🧭 混合注意力模型的CoT微调退化分析与训练免费修复 ★ 深度解读
LARK, HKUST(GZ) · University College London (UCL) · Mistral AI · Tsinghua University · Singapore University of Technology and Design (SUTD)
CoT微调破坏混合模型的长距离召回，提出仅恢复 Q/K 投影的训练免方法QK-Restore，高效修复
📌 工作参考价值（3 点）
- 若使用混合线性注意力模型（如 HypeNet、Jet-Nemotron）处理长上下文（例如多轮对话、长文档），在 CoT 推理微调后应监控检索退化，可直接用 QK-Restore 方法恢复基座模型的 Q/K 投影权重，几乎零成本复原长程召回。
- 观察到 CoT 序列的局部梯度偏向现象具有通用性，做 CoT SFT 时可通过冻结 Q/K 投影或使用 QK-Restore 修复，避免长上下文能力丢失，适用于将推理能力注入长上下文应用（如多步检索增强生成）。
- 该修复手法仅替换 Q、K 矩阵，保留 V 和输出投影的微调增益，表明可以将“路由”与“内容提取”解耦，对混合模型架构设计有指导意义：部署时可分别管理路由和提取参数，进行差异化更新。