Kamera: Unified Position-Invariant Multimodal KV Cache for Training-Free Reuse
Kamera:统一位置不变的多模态KV缓存实现训练免费复用
🧭 多模态Agent的KV缓存位置不变复用
Erlangen National High Performance Computing Center (NHR@FAU)
通过低秩条件补丁恢复跨块绑定,使多模态KV缓存可任意位置复用,消除重复编码
📌 工作参考价值(4 点)
- 在多轮Agent对话或滑动窗口推理中,可缓存商品图片、UI截图等视觉块的KV,随位置变化通过旋转和补丁恢复,避免重编码,显著降低电商直播、视频推荐场景的推理成本。
- 低秩条件补丁训练免费、即插即用,能以极小存储代价恢复被丢弃的跨块上下文,保持多跳推理准确率,适合需要长程记忆的推荐Agent。
- 支持重排、滑动窗口生存和回忆三种操作,工程实现简单,可直接集成到现有推理框架,利用RoPE重旋转和单一补丁即实现任意位置复用。
- 在视觉冗余严重的视频流中效果最突出,正对多模态商品介绍、广告片反复分析等高计算场景,可大幅减少重计算预算。