Progressive Cramming: Reliable Token Compression and What It Reveals
渐进式填塞：可靠Token压缩及其揭示的局限
🧭 LLM token压缩与表示容量研究
FusionBrain Lab · HSE University · Innopolis University
逐token扩展压缩目标直至重建失败，定位可靠压缩边界，并揭示早期层交互致下游崩溃
📌 工作参考价值（4 点）
- 在推荐/搜索系统中将用户行为序列压缩为少量 token 时，即使自回归重建准确率高，也可能严重削弱 LLM 的推理与生成能力，评估应以下游任务为准，不能只看重建误差。
- 渐进式 cramming 提供了一种确定序列压缩极限的方法，可用于测试不同长度用户序列能被无损编码的边界，指导压缩程度的选择。
- 因果注意力 knockout 表明压缩嵌入主要通过模型早期层引入干扰，尝试在早期层后插入压缩表示或进行针对性微调可能缓解能力退化。
- 对 Agent 长程记忆压缩的场景，该工作提示“完美重建”并不等同于保留可转移的语义，需关注压缩对代理决策的实际影响。