Windowed-MTP: Removing the Full-Context Draft-KV Tax at Million-Token Context
窗口化 MTP：消除百万级上下文中的全量草稿 KV 开销
🧭 推测解码 · 长上下文 KV 优化
NVIDIA
对推测解码草稿头施加窗口注意力，训练免费、无损地将长上下文草稿 KV 读取量降低 99%，推理加速 28–44%
📌 工作参考价值（4 点）
- 在长上下文生成式推荐/Agent 中降低延迟：当使用 LLM 生成推荐理由或进行多步推理时，若启用 MTP 推测解码，可直接将草稿头的注意力替换为窗口注意力，保留验证阶段全注意力，实现训练免费、无损的推理加速，尤其适合百万 token 级别的用户行为序列。
- 工程实现简单，即插即用：无需重新训练或调整模型结构，仅需在草稿注意力中添加滑动窗口和注意力槽（StreamingLLM 风格），可立即部署到现有 SGLang 等框架。
- 释放 GPU 显存用于更大批处理：窗口化草稿头可丢弃约 99% 的草稿 KV 缓存（实测占总量 7.7–11%），使用紧凑环形缓冲区回收，不影响接受准确率，支持更高的吞吐。
- 适用于混合注意力目标模型：当主模型使用混合线性注意力（如 Mamba2-hybrid）时，窗口化草稿头可避免其全注意力读取代价成为瓶颈，保持整体加速效果随上下文变长而放大。