Which Way Did It Move? Diagnosing and Overcoming Directional Motion Blindness in Video-LLMs
Video-LLMs 方向运动盲的诊断与克服
🧭 视频理解 · 运动方向感知增强
Kyung Hee University · Princeton University
揭示 Video-LLMs 存在方向运动盲，提出投影器级辅助损失 DeltaDirect 显著提升运动方向理解
📌 工作参考价值（4 点）
- 能力缺陷诊断范式：通过线性探测各层隐状态可定位信息是否保留但未能绑定到输出，这套诊断流程可迁移到电商视频理解模型的动作、属性等基本感知能力的排查。
- 低成本辅助任务注入先验：DeltaDirect 仅在投影器上预测相邻帧特征差的运动向量，参数量极小，可作为一种轻量级插件提升视频模型的基础运动敏感性，适合在商品摆拍、物流监控等简单运动场景中快速部署。
- 合成数据与真实泛化平衡：文中发现视觉复杂性会削弱运动方向信号，提示在生成训练数据时需控制背景复杂度，否则域外泛化受限；在制作合成训练样本时可采用渐进式复杂度策略。
- 概念向量分析指导特征工程：运动方向概念向量的分析方法，可用于检测模型内部其他关键概念（如物体朝向、交互姿态）的信号强度，指导数据增强或特征正则化。