SeKV: Resolution-Adaptive KV Cache with Hierarchical Semantic Memory for Long-Context LLM Inference
SeKV：分辨率自适应的分层语义记忆 KV 缓存
🧭 长上下文推理 · KV 缓存压缩
University of British Columbia · Microsoft Research
用熵引导语义分段 + GPU-CPU 分层存储 + 按需 zoom-in 实现长上下文 KV 缓存压缩，避免丢弃信息
📌 工作参考价值（4 点）
- 长序列建模内存优化：电商推荐中用户行为序列可能很长，可借鉴语义分组与 GPU-CPU 分层存储思路，将高频访问的抽象摘要保留在 GPU，细节离线存储在 CPU，按需加载，减少线上显存压力。
- 按需检索历史细节：在 Agent 长期记忆或个性化对话中，当需要回溯具体 token 级信息时，zoom-in 机制可选择性展开相关片段，避免全量解压，适合精准检索。
- 低成本适配方案：冻结主模型，仅训练少量参数（0.05%）即可实现长上下文压缩，对业务快速实验友好，可将该范式用于微调推荐模型的长期依赖建模。
- 熵引导分段：利用注意力熵判断语义边界，对用户行为序列的时间切分或会话分割有启发，可尝试用于动态构建更具语义一致性的行为子序列。