MAVIS: Multi-Agent Video Retrieval via Structured Video Understanding
MAVIS：基于结构化视频理解的多智能体视频检索
🧭 多智能体视频检索 · 结构化语义理解
Great Bay University · Nankai University · Tsinghua University · The University of Tokyo
用多智能体协作＋逻辑否决辩论代替全库暴力搜索，实现免训练且高效的视频检索。
📌 工作参考价值
- 结构化属性索引思路可迁移：将商品/素材预解析为场景、对象、动作等属性库，实现按语义类别快速查找，避免每次检索都扫描全库，适合电商多模态搜索和推荐。
- 多智能体协作的逻辑否决机制：多个专家代理独立提名候选，再通过严格否决协议排除逻辑冲突项，这一思路可直接用于推荐系统的多维度一致性校验（如类目、属性、用户画像冲突过滤），减少错误推荐。
- 免训练的零样本流程：利用现成 MLLM 和 VLM 完成任务，无需微调，大幅降低业务落地时对标注数据和 GPU 资源的依赖，适合快速迭代的电商场景。
- 可解释的粗到细检索范式：先粗筛后细排，且每个代理的决策过程可追溯，便于在线 debug 和规则干预，对高可靠要求的电商搜索解释性有借鉴意义。
动机 当前视频检索主流方案仍是基于双编码器的全库暴力扫描，存在两个核心痛点：一是信息冗余——视频包含大量背景和噪声，而查询往往是简短意图，全局 embedding 匹配容易淹没关键线索；二是计算浪费——每次查询需遍历整个语料，复杂度 O(N)。近年来虽有 MLLM 提供更强语义理解，但直接用于全库匹配成本过高，且单代理视野受限易产生幻觉。因此需要一种从「暴力扫描」转向「协作推理」的新范式。
方法关键点
- 结构化视频理解：用描述代理将每个视频解析成简洁标题和三元组（场景/对象/动作），构建结构化的语义库，消除背景冗余，按属性分类索引。
- 查询分解与动态代理调度：规划器将查询拆解为原子需求，仅激活需要的领域专家（场景/对象/动作代理），避免无关维度计算。
- 独立提名 + 协同辩论：各代理基于自身子库检索候选视频，用文本嵌入计算置信度，输出的候选取并集形成初步池；随后所有代理对池内每个视频补充评分，再通过严格否决协议（任一代理打分低于硬阈值则直接淘汰）筛掉逻辑冲突的候选，保留“争议视频”。
- 细粒度匹配：仅对残存的少量争议视频使用 VLM 进行视觉-文本对齐打分，生成最终排序。
实验结果
- MSR-VTT：R@1 78.6%，R@5 94.9%，R@10 96.3%，超越所有微调方法和 MERLIN 的多轮推理（Round 5 78.0%/94.2%/96.8%），且单次推理完成。
- MSVD：R@1 78.1%，R@5 94.25%，R@10 97.33%。
- ActivityNet：R@1 69.15%，R@5 92.4%，R@10 96.8%。
- 消融实验：移除否决机制（仅取并集）R@1 下降至 75.2%；用单一通用代理替代专家代理 R@1 降至 72.1%；去掉结构化语义库 R@1 仅 70.5%。阈值敏感性低，当前设定鲁棒。效率上，细匹配仅需处理平均 16 个候选，比全库暴力搜索加速 31.2 倍。
核心结论 用多代理结构化解构查询语义、通过逻辑否决严格控假，能够在不微调的前提下实现 SOTA 精度和高效检索，为多模态检索系统提供了可解释且可扩展的新路线。