AI Papers Daily

#MLLMs

4 篇

Video-IFBench: Evaluating Instruction Following of Multimodal LLMs in Video Understanding Scenarios

视频场景下多模态大模型指令遵循能力的评估基准

🧭 多模态LLM指令遵循评估

Tencent Youtu Lab · Tencent Hunyuan · TJU · SJTU · CUHK

提出Video-IFBench，系统评估视频理解中MLLMs的指令遵循能力，含1500样本和39类约束

📌 工作参考价值（4 点）

• 约束分类体系可复用：电商视频场景中用户指令常含多个视觉/音频约束（如“找出视频中穿红色衣服且位于画面左侧的人”），可借鉴其39类约束设计评估或训练数据，提升模型对复杂query的遵循能力。
• 半自动数据构造流水线：结合MLLM生成、程序化处理和人工验证，可低成本构建领域专用的指令遵循数据集，适合业务迭代。
• 评估发现的启示：当前模型在复杂条件分支和语义约束上表现差，提示在Agent系统中需增加指令解析模块或结构化输出约束，避免直接依赖端到端生成。
• 多模态推荐借鉴：视频推荐/搜索中用户query可能包含条件选择（如“如果出现A则返回B，否则C”），可参考其嵌套指令模板设计更严格的评测集。

Eval | 2026-08-25 | HF Daily | score 6/10

MLLMsInstruction FollowingVideo UnderstandingBenchmarkEvaluation

From Structure to Synergy: A Survey of Vision-Language Perception Paradigm Evolution in Multimodal Large Language Models

从结构到协同：多模态大模型中视觉语言感知范式演进综述

🧭 多模态感知范式 · 统一视角演进

Sichuan University · Peking University · China Telecom · Northwestern Polytechnical University

首次以统一视觉语言视角系统梳理 MLLM 感知范式的五阶段演进，为多模态智能提供路线图

📌 工作参考价值（4 点）

• 业务中构建商品图文理解模型时，可参照该综述的五阶段（独立结构→浅层融合→深层交互→统一预训练→自主协同），判断当前模型所处阶段并规划升级路径；例如从双塔独立编码升级为交叉注意力融合，提升图文匹配精度。
• 在 Agent 多模态感知模块设计中，借鉴「协同感知」思想，让文本指令与视觉输入的交互不再仅发生在高层语义空间，而是允许低层视觉特征直接受语言引导，提高空间推理与指令遵循能力。
• 综述中梳理了各阶段代表方法（如 CLIP、BLIP-2、LLaVA、GPT-4V 等）的架构与训练 trick，可快速了解不同范式的工程实现取舍（如是否冻结视觉编码器、是否采用 Q-Former 桥接），为技术选型提供参考。
• 未来方向指出：统一感知需要解决幻觉、细粒度理解与效率瓶颈，这些同样制约电商场景下的多模态搜索/推荐，可提前关注稀疏 MoE、结构化知识注入等应对策略。

Multimodal | 2026-06-24 | cs.MM | score 6/10

MLLMsVision-Language PerceptionParadigm EvolutionSurveyMultimodal Intelligence

DyCo-RL: Dynamic Cross-Modal Coordination for Visual Reasoning

动态跨模态协调强化学习提升视觉推理

🧭 多模态大模型视觉推理训练优化

University of Trento · BAAI · Singapore Management University · IQuest Research

通过对齐token功能角色与实际注意力分配，改进RLVR中的跨模态协调

📌 工作参考价值（4 点）

• 多模态电商/推荐系统（如商品图文联合推理）可借鉴 token 功能角色划分思想，显式建模视觉感知与文本推理步骤的交替，减少幻觉或不一致。
• 在强化学习训练中，可引入基于注意力对齐的中间过程信号作为辅助奖励或重要性权重，而不仅依赖最终结果奖励，有助于提升生成序列的合理性。
• Fisher-Rao geodesic 距离可用于分析序列生成时模态内的注意力转移模式，作为一种新的可解释性工具，诊断多模态 Agent 的信息流问题。
• 对多模态 Agent 的 CoT 推理设计，可显式区分“提取视觉证据”步与“文本上下文推理”步，并加入对齐约束，提高决策准确性。

Multimodal | 2026-06-05 | HF Daily | score 7/10

RLVRVisual ReasoningMLLMsCross-modal CoordinationFisher-Rao Geodesic

CVSearch: Empowering Multimodal LLMs with Cognitive Visual Search for High-Resolution Image Perception

CVSearch：基于认知视觉搜索的多模态大模型高分辨率图像感知

🧭 多模态LLM高分辨率认知视觉搜索 ★ 深度解读

哈尔滨工业大学（深圳） · 鹏城实验室 · 中国科学院深圳先进技术研究院

训练自由的认知评估-搜索框架，通过语义引导自适应分块与动态自底向上搜索，实现覆盖与效率平衡的高分辨率视觉搜索。

📌 工作参考价值（4 点）

• 搜索框架可作为电商图像理解的即插即用组件：在商品详情图、用户评价图等场景中，需要对高分辨率图像中的小目标（如标签、瑕疵）进行细粒度感知，可借鉴CVSearch的训练自由范式，无需重新训练即可集成到现有MLLM工作流中。
• 语义引导的自适应分块避免固定网格碎片化：电商图像中商品常跨多个裁剪区域，SGAP方法利用视觉专家特征进行超像素聚类，生成语义一致的块，可用于优化多模态检索或生成式推荐中的图像预处理，减少语义断裂。
• 动态自底向上搜索提升小目标召回：在商品搜索或Agent视觉导航中，小物体（如细颗粒度属性）容易被忽略，采用从局部到全局的底向上搜索策略，并结合视觉复杂度优先探索有价值区域，可提高感知鲁棒性，减少错误传播。
• 评估-搜索工作流平衡效率与鲁棒性：对于需要处理大量图片的推荐系统，可以设计类似的信息充分性评估机制，仅对困难样本启动昂贵的搜索过程，从而在保证精度的同时大幅降低整体延迟。

Multimodal | 2026-05-22 | cs.LG | score 8/10

Visual SearchMLLMsHigh-ResolutionSemantic PatchingBottom-Up SearchTraining-free