CVSearch: Empowering Multimodal LLMs with Cognitive Visual Search for High-Resolution Image Perception
CVSearch：基于认知视觉搜索的多模态大模型高分辨率图像感知
🧭 多模态LLM高分辨率认知视觉搜索
哈尔滨工业大学（深圳） · 鹏城实验室 · 中国科学院深圳先进技术研究院
训练自由的认知评估-搜索框架，通过语义引导自适应分块与动态自底向上搜索，实现覆盖与效率平衡的高分辨率视觉搜索。
📌 工作参考价值
- 搜索框架可作为电商图像理解的即插即用组件：在商品详情图、用户评价图等场景中，需要对高分辨率图像中的小目标（如标签、瑕疵）进行细粒度感知，可借鉴CVSearch的训练自由范式，无需重新训练即可集成到现有MLLM工作流中。
- 语义引导的自适应分块避免固定网格碎片化：电商图像中商品常跨多个裁剪区域，SGAP方法利用视觉专家特征进行超像素聚类，生成语义一致的块，可用于优化多模态检索或生成式推荐中的图像预处理，减少语义断裂。
- 动态自底向上搜索提升小目标召回：在商品搜索或Agent视觉导航中，小物体（如细颗粒度属性）容易被忽略，采用从局部到全局的底向上搜索策略，并结合视觉复杂度优先探索有价值区域，可提高感知鲁棒性，减少错误传播。
- 评估-搜索工作流平衡效率与鲁棒性：对于需要处理大量图片的推荐系统，可以设计类似的信息充分性评估机制，仅对困难样本启动昂贵的搜索过程，从而在保证精度的同时大幅降低整体延迟。
动机
现实场景中高分辨率图像中的小目标与细粒度细节对MLLM构成感知瓶颈。现有方法要么采用视觉专家辅助搜索，效率高但一旦专家失败便产生盲区；要么采用刚性网格扫描，确保覆盖但计算冗余、语义碎片化严重。这种覆盖与效率的二元对立亟需一种能动态权衡的认知搜索机制。
方法关键点
- 认知评估-搜索流程：首先对图像全局进行信息充分性评估（
c_q），不足时触发视觉专家（SAM3）进行快速提议；若专家失败，自动切换到场景感知扫描阶段，形成可由失败触发的自适应回退链。 - 语义引导自适应分块（SGAP）：在扫描阶段，利用SAM3提取的深度特征进行SLIC超像素分割，再用层次聚类生成语义一致的区域边界，并通过优化重叠度与轮廓系数自动确定最佳聚类数
k*，避免刚性网格造成的对象切割。 - 视觉复杂度剪枝：计算每个分块的原子特征余弦相似度均值作为视觉复杂度
c_v，低复杂度背景块直接剪枝，将计算集中到高熵前景区域。 - 动态自底向上搜索：建立自适应图像树，搜索从最深层叶子节点开始，节点按优先级
c_x = α·c_v + β·c_o + γ·c_x^*排序，聚合子节点证据向上传递；采用衰减阈值τ_curr作为终止条件，允许模糊样本产出合理答案，避免在困难样本上僵持。
关键结果
在V* Bench上，结合LLaVA-OV-7B后从75.4提至91.6 (+16.2)；HR-Bench 4K/8K上InternVL2.5-8B分别提升至77.0/77.6。与扫描方法ZoomEye相比，Qwen2.5-VL-7B在HR-Bench 4K上准确率从72.5升至76.6，吞吐量达到3.77样本/分钟（约3倍于ZoomEye）。模型无关性验证显示，从Qwen2.5-VL-3B到Qwen3-VL-32B均有显著增益，且在小模型上提升更明显。
最值得记住：认知“评估-搜索”机制使系统能按需在直接回答、专家搜索、语义扫描间切换，SGAP与自底向上搜索共同解决了扫描方法的语义破碎与错误传播问题，实现了首个训练自由的高分辨率视觉搜索平衡方案。