OmniDelta: Skill-Driven Budget Allocation for Token Compression in OmniLLMs
OmniDelta：面向全模态LLM的技能驱动令牌压缩预算分配
🧭 全模态LLM推理优化 · 令牌压缩预算分配
Zhejiang University · Qwen Application, Alibaba · Carnegie Mellon University · University of Chinese Academy of Sciences · University of Science and Technology of China
提出无训练的意图感知+内容感知双层动态预算分配，在不改变总压缩比下提升全模态LLM效率
📌 工作参考价值（4 点）
- 意图感知模态间分配：在推荐场景中处理视频+音频的商品讲解时，可根据用户查询意图（如“查看材质”或“试听音质”）动态调整视觉与音频令牌保留比，避免平均分配浪费资源。
- 内容感知模态内分配：利用局部复杂度和时间冗余性重分配帧/音频段预算，可在短视频推荐中仅保留关键帧，降低推理成本而不丢失信息。
- 训练免费、即插即用：框架无需修改模型或重新训练，可直接集成到现有多模态推荐模型中，快速获得压缩效益。
- 显存与延迟优化显著：25%保留比下降低22%显存、1.64倍加速，适合大规模在线推荐服务中多模态内容的高吞吐处理。