风险受控的 KV Cache 淘汰：从内存预算到风险目标
🧭 LLM 推理 · KV cache 风险控制
Department of Artificial Intelligence, Korea University
将 KV cache 淘汰重新定义为部署风险控制，用事后认证选择保留策略并按需回退全 KV
📌 工作参考价值（4 点）
- 在电商/广告线上长上下文 LLM 服务（商品详情问答、评论总结、Agent 长时记忆）中，用风险预算替代平均精度来选择 KV cache 压缩策略：按业务可容忍的退化概率（如 5%）和置信度进行校准，只上线被认证的策略，避免长尾请求质量事故。
- 引入全 KV fallback 机制：当校准集上没有任何压缩策略通过风险认证（例如高难度长上下文任务），自动回退到不压缩，保障最坏情况体验，可作为线上安全网。
- 离线评测时不要只看平均退化率，要报告有限样本认证的风险上界；对于固定内存预算方法，认证可能显示需要多保留 5-10 个百分点的 KV cache，帮助更稳健地设置内存配额。
- 该方法是 compressor-agnostic 的，可与任意 KV 淘汰算法结合，适合在现有推理加速框架上低成本包装为上线前认证流程。
VestigeKV：NoPE-MLA KV 缓存利用退化分支自身携带淘汰信号
🧭 LLM 推理优化 · KV Cache 压缩
Yotta Labs
利用 NoPE MLA 缓存中 64 维退化分支作为查询无关显著性信号，实现无训练 KV 缓存分层压缩
📌 工作参考价值（4 点）
- 若线上 Agent/LLM 服务采用 NoPE MLA 架构（如 Kimi 系列），可直接在长上下文场景（用户长期行为序列、商品知识库、会话历史）部署 VestigeKV：以 decoupled branch 的 64 维子空间做 top-m 分层，将非 top 行归档且 GPU 常驻，避免删除导致不可逆信息丢失；无需修改权重或 kernel，工程上可作为 cache policy 无损接入。
- 观察注意力淘汰（H2O/SnapKV）在 NoPE MLA 上失效（needle retrieval 0.00–0.33），提醒在生成式推荐/Agent 长上下文服务中若目标模型为 NoPE，不要沿用 RoPE 时代的 KV 淘汰策略；先验证查询无关显著性信号是否存在。
- 分层缓存 + 可触发归档的思路可迁移到推荐系统特征缓存：将高频/高显著性特征放快速层，其余 bit-exact 放低成本 GPU/CPU 层，需要时按查询 key 精确取回，避免近似压缩带来的检索精度损失。
- 对多轮 Agent 对话或用户行为序列建模，利用缓存中已有分支的统计分布（top-1 目标 token 占比）判断可压缩性，可在推理前离线冻结阈值，避免在线调参。
随机注意力：重新思考 KV 缓存淘汰以实现高效推理
🧭 LLM 推理效率 · KV 缓存随机淘汰
Salesforce AI Research · University of Illinois Urbana-Champaign
提出 Random Attention，保留 prompt 并在各注意力头内随机淘汰 KV 缓存，匹配最强选择器同时吞吐提升 32-43%
📌 工作参考价值（4 点）
- 在部署长上下文 LLM 服务（如电商 Agent 的多轮对话或长链推理）时，可将 KV cache 淘汰策略简化为“保留 prompt + 每头随机淘汰”，省去 token 重要性打分，降低额外计算和延迟，实现 32-43% 的推理吞吐提升。
- 显式保护 prompt 是稳定性的关键：随机淘汰由于天然保留 prompt 而表现出与复杂选择器相当的性能，提示我们在设计缓存管理策略时应优先确保 prompt 完整，而非依赖复杂重要性估计。
- 推理轨迹在文本和注意力头两个层面存在冗余，因此随机抽样足以保留必要信息，这对长 CoT 生成场景尤其有借鉴：可放宽对精确 token 选择的假设，采用更轻量的随机策略。
- 可作为强 baseline：在电商搜索推荐系统的 LLM 模块中，如果采用 KV 压缩，先测试随机淘汰，它实现简单、无需训练或计算分数，且能匹配最优方法。
KV Cache 淘汰的概率视角：期望估计与解码期校正
🧭 LLM 推理 · KV cache 压缩 ★ 深度解读
University of California, Los Angeles
将 KV cache 淘汰形式化为期望估计问题，提出可纠偏的概率淘汰与解码期校正
📌 工作参考价值（4 点）
- 部署长上下文 LLM 服务（Agent 记忆、商品描述、用户行为序列）时，现有 H2O/SnapKV 等确定式 top-k 淘汰在特定任务上可能灾难性失效；改用论文的 probabilistic eviction + decode-time correction 能提升多任务鲁棒性，适合同一模型同时服务检索、问答、推荐解释等场景。
- 工程迁移成本低：可把已有 score-based 淘汰策略改造成 proposal 分布（如 πH2O=normalize H2O scores），按 head/group 采样并记录 counts，解码时用 Algorithm 1 的自归一化重要性采样校正，改动集中在 attention 计算，无需重训或改模型。
- 温度缩放 τ 是简单可用的 bias-variance 旋钮：高压缩、低采样数时增大 τ 抑制方差，低压缩时保持 τ=1 降低偏差；可按业务 latency/quality 目标做 per-head 或全局 budget 调优。
- 全局压缩率分配可利用论文的采样数与 coupon collector 关系做预算分配，让不同层/head 自适应获得不同压缩率；GQA 模型需用 group 内 mixture proposal 保持支持集一致。
ResKV：固定预算下通过残差缓存重构被忽略注意力贡献的KV缓存压缩
🧭 固定预算KV缓存压缩
University of Electronic Science and Technology of China
将KV缓存预算分为精确主缓存与紧凑残差缓存，同框归一化复原被丢弃token的注意力分子分母贡献，广泛提升长上下文性能。
📌 工作参考价值（3 点）
- 在电商推荐的长用户行为序列建模中，若使用LLM生成式推荐，KV缓存膨胀是瓶颈，可借鉴ResKV的残差缓存思路：保留核心token作为精确主缓存，用紧凑残差统计量重构被丢弃token的注意力贡献，从而在内存受限下保持长上下文的注意力完整性。
- 工程实现上，残差缓存的构建可通过离线验证决定每层每头的残差预算分配，解码时动态门控按query调整残差贡献，这种在线-离线协同策略可以迁移到推荐系统中的搜索/浏览长序列压缩，平衡效果与延迟。
- 残差缓存参与同一softmax归一化，而不是事后修正，这一设计确保注意力分数的分子和分母质量都得到恢复，相比简单的eviction或合并方法，对下游生成质量更友好，适合高精度要求的选品文案生成、个性化搜索词推荐等场景。
全局计算，本地物化：稀疏事件KV缓存的内存契约
🧭 LLM推理 · KV缓存语义存留机制 ★ 深度解读
Independent Researchers
从服务中省略源观测，下游事件的KV缓存仍能携带上游计算结果，且可被程序化写入
📌 工作参考价值（4 点）
- Agent记忆系统的写入策略：若要用KV缓存做记忆，不要依赖自然对话中的隐式提及，应主动插入简洁的“载体事件”（如一个计算指令）。当前模型上，主动写入比被动收割在Qwen3-8B上将携带状态恢复率从6%提升至51%。需按模型校准触发词（如用“consist”而非“write”），并始终保留显式文本记录作为回退。
- Eviction/Prefix缓存评估风险：丢弃一个源事件后若模型准确率未下降，不能断定该源事件无用——其状态可能已物化到后续事件的KV行中。评估策略时，需用隐蔽源值+控制token不变的“捐赠者对”方法，隔离文本泄露与纯KV信息存留。
- 多跳推理路由优化：在多步依赖链中，根源事件的行携带主要信号，引用边仅路由回根。选择缓存行时，保留根节点即可，不必全链路保存，可指导检索增强生成中回滚/缓存复用逻辑。
- 状态更新开销：修正谬误时，追加一个补丁事件的KV覆盖即可，代价O(pL+p²)而非全量重算O(L²)。但补丁本身会干扰历史查询，需查询范围限定与模板兼容性处理。
面向推理模型的价值感知随机 KV 缓存淘汰方法
🧭 LLM 高效推理 · KV 缓存淘汰
University of Southern California · University of Chicago
发现大值状态淘汰导致灾难性重复并利用随机性提升多样性，提出训练无关的 VaSE 方法，4 倍压缩下准确率优于 SOTA
📌 工作参考价值（4 点）
- 在电商/Agent 系统中部署长链推理模型（如复杂商品推荐解释）时，可直接引入 VaSE 降低显存开销，同时避免精度下降。
- 价值保护策略：任何 KV 缓存淘汰方案均可增加按 value 向量范数排序的前 k 个 token 保护步骤，防止高幅值 token 被误删导致生成重复循环。
- 随机化淘汰：在淘汰决策中注入高斯噪声（如基于噪声后的重要性分数排序），可提升缓存多样性，适用于 Agent 多轮对话或推荐理由生成，减少输出退化。
- 与 FlashAttention2 兼容，可实现静态显存分配，减少 OOM 风险，适合长期运行的在线推理服务。