EarlyTom: Early Token Compression Completes Fast Video Understanding
早期Token压缩完成快速视频理解
🧭 多模态视频理解效率优化 · Token压缩
Zhejiang University · Westlake University · Alibaba Cloud Computing
提出训练无关的视觉编码器内部早期token压缩框架EarlyTom，显著降低TTFT和计算量
📌 工作参考价值（4 点）
- 视觉编码器内压缩可大幅降低首Token延迟：在实时视频理解或推荐场景（如短视频内容分析、直播审核），可以直接借鉴EarlyTom的帧合并策略，在编码器中间层提前丢弃冗余帧，无需重新训练模型，即刻提升推理速度。
- 解耦空间Token选择减少压缩偏差：在生成式推荐（如基于视觉的个性化feed）中，对图像/视频帧的空间信息进行压缩时，采用独立于通道的选择方式（如空间注意力引导的token保留）可以避免重要细节丢失，保持推荐准确性。
- 训练无关方法易于集成：该方案不依赖额外训练，可直接插入现有Vision-LLM流水线，适合快速迭代的工业级系统，尤其在对延迟敏感的Agent或多智体交互中，能快速实现多模态模块的加速。
- 对视频多模态系统的工程启示：揭示了视觉编码器在端到端推理中的时间占比过高问题，从业者应优先优化编码器而非仅关注LLM部分，类似思路可用于电商场景中的商品视频理解、虚拟主播驱动等任务。