OmniPro: A Comprehensive Benchmark for Omni-Proactive Streaming Video Understanding
面向全模态主动流式视频理解的综合基准 OmniPro
🧭 全模态主动流式视频理解基准与评估
Renmin University of China · WeChat Vision, Tencent Inc.
首个统一评估全模态感知、主动响应与多任务能力的流式视频基准，揭示音频利用差异、长程退化与非语音音频薄弱
📌 工作参考价值（4 点）
- 双模式评估协议（Probe/Online）可直接迁移至直播带货场景的智能客服主动干预评估：Probe 模式验证时机准确性，Online 模式测量线上自主决策能力
- 84% 样本依赖音频信号的发现提醒电商视频理解必须融合语音与非语音音频，避免纯视觉方案漏判用户意图
- 长程性能退化（随时间显著下降）指向实际系统需引入记忆或状态刷新机制，以支持长达数小时的直播流
- 非语音音频（环境音、背景声）是当前模型最弱项，电商场景中如店铺背景噪声、产品操作声可能被忽略，需针对性增强