ActKV: Efficient LLM Agents through Action-Guided KV Cache Management
ActKV：面向智能体LLM推理的动作引导KV缓存管理
🧭 Agent KV缓存压缩与推理优化
University of Science and Technology of China · Suzhou Institute for Advanced Research, University of Science and Technology of China
提出首个面向Agentic LLM推理的KV缓存压缩框架，以动作生成贡献度为准则压缩缓存
📌 工作参考价值（4 点）
- 动作导向的KV淘汰策略：在电商导购、购物助手等Agent推理循环中，可优先保留对后续动作（如商品检索、推荐API调用、订单操作）生成贡献大的KV条目，而非全局文本质量，降低缓存占用且不损失任务成功率。
- 置信度驱动的自适应预算分配：利用LLM生成动作时的内在置信度（如token概率）动态调整KV缓存预算，适配不同任务阶段对动作关键记忆的波动需求，可集成到现有Agent serving框架中提升长时多轮交互的吞吐。
- 页式压缩管理与定制内核：将缓存压缩抽象为淘汰、预算分配、页管理三个原语，并配合定制CUDA kernel实现实际吞吐提升，适合高并发场景下Agent推理服务的工程化落地。
- 评估指标转向动作质量：业务中应关注最终动作成功率和任务完成度，而非仅看文本生成困惑度或BLEU，ActKV的实验设计可借鉴到Agent/推荐对话系统的离线评测中。