Towards Memory-Efficient Autoregressive Video Generation via Instance-Specific Parametric Absorption
面向内存高效自回归视频生成的实例特定参数吸收方法
🧭 自回归生成 · 参数化KV缓存压缩
Institute of Information Engineering, Chinese Academy of Sciences · The University of Hong Kong · AMAP, Alibaba Group
ISPA首次将KV缓存压缩从丢弃转变为实例级参数蒸馏，在视频生成中实现50%缓存缩减且质量无损
📌 工作参考价值（4 点）
- 在推荐系统的长序列Transformer或生成式推荐模型中，可借鉴ISPA将部分层转为局部注意力，并通过最小二乘将历史缓存吸收到权重中，节省推理内存。
- 预热阶段监测全注意力和局部注意力的输出差异来确定转换点，可用于Agent对话历史压缩，动态决定何时将旧上下文编码进模型参数。
- 闭式解的权重调制无需重新训练，适合在线推理时实时进行缓存压缩，可直接集成到现有KVCache管理的工程框架中。
- 对于电商场景的实时生成（如商品描述、直播推流），用ISPA减少视频/文本自回归生成的KV缓存，提升吞吐。