Subquadratic Attention with a Hierarchical Tree-Structured Indexer
基于层级树索引器的次二次方注意力机制
🧭 层级树索引稀疏注意力加速长上下文
Zyphra Research
提出层级树结构索引器对KV cache递归压缩，使注意力总成本随序列长度亚线性增长，实现次二次方缩放
📌 工作参考价值（4 点）
- 电商长序列建模：用户历史行为、商品序列、会话记录可视为 KV cache，借鉴层级树压缩摘要，在推理时自上而下检索相关 token，实现长上下文稀疏注意力，降低 inference cost。
- 轻量适配存量基座模型：仅需数亿 token 的 KL 蒸馏，业务侧可为已有 LLM 加装该索引器，无需重新预训练。
- 树深度稳健：即使 6 层深树也不显著掉点，工程上可自由调整索引层级，在精度与延迟间取平衡。
- Agent 场景收益：长上下文 agentic coding 性能不降，适合需要超长工具调用历史 / 文档上下文的电商导购 Agent 或智能客服，可直接扩展 context window 而不更换模型。