TempCloze: Can Video-LLMs Identify the Missing Middle?
TempCloze:视频 LLM 能识别缺失的中间片段吗?
🧭 视频LLM时间推理评测
The University of Hong Kong · National University of Singapore · Peking University
提出 TempCloze 视频填空基准,评估 Video-LLM 视觉时间推理并揭示时间对齐是主要瓶颈
📌 工作参考价值(4 点)
- 评测设计可借鉴:在评估多模态推荐/Agent 的时间推理时,减少文本选项中介,采用填空式视觉任务(给定前后片段选缺失中间片段),迫使模型依赖视觉时序而非语言措辞;电商直播切片理解、视频商品描述生成等场景可迁移此范式。
- 困难负样本构造:按语义、时序对齐、过程进展三个维度生成同源干扰项,并共享场景与对象以削弱外观线索,可直接用于商品视频对比学习或用户行为序列的负采样,提升模型对精细时间差异的判别力。
- 模型选型提示:Alignment 是主要瓶颈,说明在短视频/直播理解等时间敏感任务中不能只看语义匹配,应专项评估时间对齐能力;选择 Video-LLM 基座或微调时优先考察该维度。
- 工程权衡依据:论文分析 candidate order、context direction、visible span、frame density 和 test-time scaling 对性能的影响,可用于在推理成本受限时决定是否增加帧密度、上下文长度或采样步数,平衡时间推理效果与计算开销。