ReFreeKV: Towards Threshold-Free KV Cache Compression
ReFreeKV：迈向无阈值 KV 缓存压缩
🧭 LLM 推理优化 · KV缓存压缩
Nanjing University of Aeronautics and Astronautics · WeChat AI, Tencent · Fudan University · Independent Researcher
提出首个无阈值 KV 缓存压缩方法，自适应分配预算，无需预设阈值即可保持全缓存性能
📌 工作参考价值（4 点）
- 长上下文推理优化：在电商、广告场景中，用户行为序列、商品描述等长文本输入可利用该自适应 KV 缓存压缩，降低线上推理内存与延迟，无需为不同输入单独调阈值。
- 多轮 Agent 对话管理：Agent 系统常需维持长对话历史，ReFreeKV 的无阈值特性可动态保留关键 KV 对，避免对话状态因缓存裁剪过度而丢失重要信息，提升多轮交互稳定性。
- 避免输入敏感调参：业务中处理多样化的查询（搜索词、聊天消息）时，传统缓存压缩需凭经验设定预算，此方法可自动调整，减少工程维护成本。
- 模型部署降本：在 LLM 推荐、检索增强生成等场景下，直接复用该方法实现近乎无性能损失的 KV 缓存压缩，节省 GPU 显存，支持更大 batch size 或更长上下文，直接降低服务成本。