Combating Textual Noise and Redundancy: Entropy-Aware Dense Visual Token Pruning
对抗文本噪声与冗余的熵感知密集视觉令牌剪枝
🧭 多模态模型视觉令牌剪枝
Shanghai Jiao Tong University
EADP 用熵过滤文本噪声并将令牌选择建模为带空间先验的次模最大化，在严格预算下保持细粒度视觉线索
📌 工作参考价值（3 点）
- 在多模态推荐场景（如商品图像+用户查询）中，可借鉴熵过滤来抑制查询文本中的噪声词，提升跨模态打分鲁棒性，避免关键图像块被错误丢弃。
- 采用次模最大化+空间先验替代 top-K 选取视觉令牌，能更全面地保留细粒度细节（如商品微小瑕疵、特定图案），适合高要求的商品理解任务。
- 方法无训练、即插即用，可直接集成到现有多模态 VLM 推理管线中，在延迟敏感场景（如实时搜索推荐）降低视觉上下文成本而不过度损失精度。