End-to-End Context Compression at Scale
端到端大规模上下文压缩模型
🧭 长上下文推理加速 · 软令牌压缩 ★ 深度解读
New York University · University of Maryland · Princeton University · Columbia University · Meta FAIR
通过大规模端到端训练编码器-解码器，以软令牌压缩KV缓存，在长上下文任务上实现更优的速度-质量帕累托前沿
📌 工作参考价值（4 点）
- 软令牌压缩可直接接入现有推理引擎：与难以兼容 vLLM/SGLang 的 KV 缓存淘汰方法不同，LCLM 输出的软令牌序列天然适配分页注意力，可直接降低电商搜索、推荐模型在长用户序列中的 prefill 延迟和显存占用。
- 编码器窗口批量压缩策略：通过固定窗口编码并批量并行，可将长用户历史或商品描述压缩为少量潜在向量，适应突发长上下文，适合在多智体任务中维护持久记忆，降低对话轮次间的 KV 缓存重计算。
- 自适应扩展 Agent 框架：借鉴论文中的 EXPAND 工具设计，在推荐解释或多轮对话中，可以先用高压缩比概览全部用户行为，再按需精准解压相关片段，实现高效的长序列检索与生成结合。
- 多阶段训练 recipe 可复用：适配器预热 → 编码器训练 → 解码器解冻 → SFT 的阶段式训练，有效控制灾难遗忘，适合将现有生成式推荐模型改造为上下文压缩器，尤其在使用 LoRA 微调时参考其分阶段学习率设置。