FIRM-Video: Check Before You Score for Reliable Text-to-Video Reward Modeling
FIRM-Video：先检查再评分实现可靠文本到视频奖励建模
🧭 文本到视频奖励模型 · 评估基准
Shanghai Jiao Tong University · Tencent Youtu Lab · Tongji University
提出 check-before-score 清单驱动框架，构建 90K 训练数据和基准，8B 奖励模型在 VBench 上 Best-of-8 采样达最优
📌 工作参考价值（4 点）
- 在电商视频/广告创意评估中，可将整体评分拆为「指令遵循、世界一致性、感知质量」等维度，并为每个维度构建 checklist；先逐项验证视频证据再聚合分数，避免 LLM 整体打分时的漏检和归因混淆。
- 对商品视频生成或文案+视频的联合评估，可借鉴「prompt 分解为加权原子要求」：把用户/运营指令转化为可独立验证的细粒度要求（如颜色、质地、动作、文字），每项单独打分后加权求和，提升判断的稳定性和可解释性。
- 感知质量维度采用通用视觉缺陷分类（如模糊、闪烁、压缩伪影等），可作为广告素材机审/质量分系统的先验检查表，结合 LLM 做可解释的缺陷定位。
- 将 checklist 验证结果转化为自然语言分析再训练端到端 reward model 的做法，可复用于构建创意内容优选模型：先用结构化检查生成监督信号，再蒸馏到小模型，用于线上 Best-of-N 采样或创意排序。