DoSA: Dots Sparse Attention
DoSA：点稀疏注意力无损剪枝加速长上下文索引器
🧭 LLM 稀疏注意力推理加速 ★ 深度解读
Dots Studio, Xiaohongshu Inc.
为有符号多哈希索引器构建可证上界，利用种子阈值无损筛除多数 key，避免全头打分，长上下文预填充最高快 2.74 倍
📌 工作参考价值（4 点）
- 在长用户行为序列/商品库的 LLM 检索或生成式推荐中，可借鉴“种子阈值+分数上界”的无损剪枝：先用少量头部或代理模型计算上界，只对可能进入 Top-K 的候选项算完整分，避免全量打分。特别适合有符号多目标融合打分，负头不能简单丢弃时，用激活频率支撑聚合保住下界紧度。
- 工程实现可复用：将剪枝与 GPU kernel 融合，规则 screening 用 Tensor Core，SIMT 做 bound 评估和候选 compact；refinement 阶段同组查询共享 key 加载，稀疏写回只写达到阈值的记录，明显降低 HBM 带宽。若自建长上下文检索/推荐打分服务，这套数据流可直接参考。
- 成本分析给了一个重要信号：上下文越长，选择 token 的索引器占比迅速上升（~1M 时 73%-90.8%），加速索引器比加速注意力本身收益更大。用 Amdahl 定律可提前估算优化收益，避免把力气花在低占比模块。
- 解码阶段利用时间相干性，用近期选中 key 的分数做阈值下界，压缩选择输入，这种“候选记忆 + 阈值预测”思路可迁移到实时推荐/搜索的候选生成与重排中，减少重复打分。