UltraQuant: 4-bit KV Caching for Context-Heavy Agents
面向上下文密集型智能体的4位KV缓存压缩方案
🧭 Agent推理缓存压缩优化
Advanced Micro Devices · University of California, Los Angeles · Purdue University
针对多轮Agent场景设计4位KV缓存压缩，通过非对称K/V处理、Walsh-Hadamard旋转及AMD GPU优化，大幅降低延迟并提升吞吐
📌 工作参考价值（4 点）
- Agent/多轮对话推理优化：长上下文智能体（如购物助手、搜索Agent）的KV缓存可压缩至4位，在缓存压力下TTFT降低3.47倍，吞吐提升63%，可直接用于线上服务降本提速。
- 非对称K/V量化策略：对Key应用Walsh-Hadamard旋转等保精度措施，Value可更激进的量化，这一设计可直接移植到推荐模型中Transformer结构的KV缓存压缩。
- 硬件适配与部署：利用FP8查询+FP4 KV张量的近似路径，以及CDNA4的scaled-MFMA指令，为在特定GPU上最大化吞吐提供工程范例，可参考其流水线设计。
- 多轮负载评估框架：论文强调联合测量任务质量、缓存驻留和吞吐，电商Agent在评估压缩方案时可借鉴这种多维度基准测试。