Learning how to Forget: Fine-tuning for Long-Context Sparse Attention
学会遗忘：长上下文稀疏注意力的微调方法
🧭 长上下文稀疏注意力微调 ★ 深度解读
Amazon Web Services · University of Amsterdam · Amazon · Technical University Berlin
提出在任意 KV cache 策略下微调 LLM 的方法，使模型与稀疏注意力协同适应，在中等 GPU 上超越序列并行训练
📌 工作参考价值（4 点）
- 训练/推理一致性：若线上推理启用 H2O、SnapKV 等稀疏 KV cache 策略，微调时务必使用同一策略做前向，否则模型在稀疏推理下会出现输出过长、乱码；论文中 SP 训练模型在多个 Helmet 任务上严重退化。
- 低成本长上下文微调：单卡 40GB 可用 LoRA + 嵌套激活检查点 + CPU offload + delta encoding 处理 KV cache，将 autograd 显存降至与推理相当，适合多轮对话、长工具输出、长行为序列等场景。
- 缓存策略 trick：H2O 归一化累积注意力分数、batch 维度独立淘汰、保留少量 attention sink 前 β 个 token，能提升长上下文稳定性；避免全局统一淘汰。
- 工程落地：可复用 KeysAndValues 库快速对比策略；推动 SDPA kernel 支持返回 summed attention weights 和隐式 causal mask，降低稀疏注意力延迟。