VisualRouter: Query-Grounded Visual Sampling for Long Video Understanding
VisualRouter:查询驱动的长视频视觉采样
🧭 查询感知的视觉采样策略
区分全局/局部查询的自适应视觉采样框架,即插即用,无需训练,显著提升多模态大模型的长视频理解能力。
📌 工作参考价值(4 点)
- 查询类型分类(全局 vs 局部)的思路可直接复用到多模态搜索与推荐:对用户 query 进行意图分类,分别采用不同召回或排序策略。
- 训练无关、即插即用的设计适合快速集成到现有视频理解 pipeline,如商品视频标签提取、直播切片精选等,无需额外训练成本。
- 事件感知的帧选择策略(事件划分→段级分配→段内选择)可借鉴到长视频推荐场景:对视频内容做事件切割,按事件分配曝光帧数,保证多样性。
- 相关性、覆盖度、多样性三平衡的采样准则可应用于推荐系统的物品选择或内容摘要,避免信息冗余,提升用户体验。