Gaze Heads: How VLMs Look at What They Describe
凝视头：视觉语言模型如何注视其所描述内容
🧭 视觉语言模型 · 注意力机制 · 模型操控
Northeastern University
VLM 中仅 9% 的注意力头（凝视头）能跟踪当前生成的图像区域，重定向这些头即可控制模型描述目标区域。
📌 工作参考价值
- 推理时低成本控制 VLM 描述焦点：通过仅修改不到 9% 的注意力头（凝视头）的注意力掩码，无需重新训练即可将模型输出重定向到图像的任意区域，可用于多模态商品描述、QA 等场景，强制模型聚焦于指定商品或特征。
- 低资源发现关键 head 的方法：使用简单的“凝视分数”（不同查询下注意力转移的对角相关性）在少量前向传播中定位可操控的 head 集，工程上容易复现，可用于其他多模态模型的分析与微调指导。
- 动态注意力干预：可在生成过程中实时切换凝视目标，让模型逐段描述不同区域，类似对话式交互中逐步引导模型关注不同商品或属性，为可控多模态对话提供新接口。
- 注意：仅对联合训练视觉编码器的 VLM 有效（如 Qwen3-VL、InternVL），对冻结编码器的模型（LLaVA、Bunny）效果差，选型时需留意架构差异。
动机：视觉语言模型（VLM）内部如何将视觉信息转换为语言描述尚不明确。已有工作关注整图注意力或静态定位，但未揭示模型在逐 token 生成时如何动态跟踪当前描述的图像区域。本文从人类凝视行为得到启发，寻找并验证 VLM 中是否存在类似的“凝视”机制。
方法关键点：
- 漫画条受控测试平台：使用六格漫画，利用其空间布局编码叙事顺序，每个面板具有明确的位置与内容区分，为评估注意力轨迹提供了无歧义的 ground truth。
- 凝视分数：针对每个注意力头，在不同面板查询下计算其分配到对应面板的图像 token 注意力比例（对角分量均值），筛选出能随查询变化而重定向注意力的 head。该方法仅需少量无标注前向传播。
- 干预实验：对选出的 top-100 凝视头施加注意力掩码偏差（+∞ 目标面板，−∞ 其他面板），强制模型将视觉注意力集中到指定面板，检验输出是否被重定向。
关键实验与结果：
- 数据集：COMICS（3,948 幅漫画）用于发现，GPT Image-1 生成 500 幅六格漫画作为验证集，同时使用 COCO val2017 测试自然图像迁移。
- 主要指标：VQA 重定向准确率（强制 1-of-6 判断，随机基线 16.7%）、动态叙述与目标面板顺序的 Spearman 相关性。
- Qwen3-VL-8B 上，重定向 top-100 凝视头（占全部 1,152 头的 8.7%）使 VQA 准确率达到 83.1%，而随机非凝视头无法重定向，干预所有头则破坏生成。静态叙事任务中重定向准确率 79.4%。
- 动态切换凝视目标时，模型叙述与调度顺序的相关性达 0.87，且能自然“收尾当前面板、开始描述新面板”。
- 在 COCO 自然图像上，凝视头重定向使目标物体识别准确率从 25.9% 提升至 76.5%（整体），对大物体效果最佳（80.3%）。
- 跨模型验证：该机制在 Qwen3-VL 2B~32B、Qwen2-VL、Ovis1.5、InternVL3.5 等联合训练视觉编码器的 VLM 上均有效；但在冻结编码器的 LLaVA 系列和 Bunny 上效果显著下降，提示机制可能依赖视觉编码器的联合微调。
值得记住的一句话：VLM 内部用于将视觉区域绑定到语言的机制被高度集中在一小部分注意力头中，通过简单编辑这些头的注意力即可在推理时任意控制模型“看哪里、说什么”。