Semantic Head Specialization Guides Hybrid ViT Attention for Multimodal LLMs
语义头专业化指导多模态LLM混合ViT注意力设计
🧭 多模态LLM视觉编码器混合注意力设计
Peking University · The University of Hong Kong · Xiaomi Corporation
提出SHS-Index量化ViT注意力头的语义专业化，据此设计Ariadne混合注意力，以6.5倍更少注意力计算匹配全注意力性能。
📌 工作参考价值
- 电商多模态商品理解中，若使用 ViT 编码商品图/视频，可用 SHS-Index 诊断注意力头分工是否充分，快速评估替换混合注意力后是否损失语义表达能力。
- 设计高效图像/视频编码器时，优先关注三个结构因素：window interaction（窗口间交互）、token serialization（token 序列化方式）、local softmax allocation（局部 softmax 分配），这比仅调窗口大小或层数更有效。
- Ariadne Attention 在 6.5 倍注意力 FLOPs 降低下接近全注意力，适合线上推理延迟敏感的商品理解链路，可直接作为多模态 LLM 视觉塔的轻量替代，降低推理成本约 13.5% 端到端时间。
- 整体是视觉编码器底层优化，与推荐排序/召回的直接耦合弱，但可作为多模态 embedding 服务降本增效的组件复用。
动机：混合注意力在 LLM 中已成主流，但多模态 LLM 的 ViT 视觉编码器仍缺乏可靠的混合设计，且不清楚为什么某些注意力模式更优。作者发现 ViT 注意力头在全注意力下会自然分化为 object 专家和 background 专家，称为 Semantic Head Specialization (SHS)。
方法关键点：提出 SHS-Index 量化注意力头的语义专业化程度，可区分 full-attention 与 chunk-window ViT，并在控制设计空间内与下游 benchmark 性能强相关。进一步识别出三个影响 SHS 的结构因素：window interaction（窗口间交互）、token serialization（token 序列化方式）、local softmax allocation（局部 softmax 分配），并以此为原则设计混合注意力 Ariadne Attention。
关键结果：Ariadne Attention 在 20-image benchmark 上与 full attention 差距仅约 0.5 分，同时注意力 FLOPs 降低 6.5 倍；在 8962 分辨率下，端到端 ViT 时间降低 13.5%。在 22 个图像和视频任务上匹配 full attention 表现。