RefCaptioner: Multi-Reference Image-Grounded Video Captioning
RefCaptioner：多参考图像指导的视频描述后训练框架
🧭 多参考图像约束的视频描述后训练
Peking University · Kling Team · National University of Singapore · Shanghai AI Lab · CASIA
提出多参考图像指导的视频描述任务，用分层覆盖折扣GRPO实现短语级绑定与干扰拒绝
📌 工作参考价值（4 点）
- 多参考图像指导的描述生成可直接迁移到电商商品视频描述：输入多张商品图，生成确保细节对齐（颜色、款式）的文案；可通过类似的分层覆盖奖励避免遗漏关键属性。
- 混合数据SFT保持通用能力的策略适用于垂直领域的LLM微调，防止灾难性遗忘；在训练电商领域的生成式推荐模型（如商品描述生成）时，可混合通用数据与领域数据。
- 分层覆盖折扣GRPO的强化学习思路可用于优化生成式推荐中的多实体绑定与一致性，例如在生成广告文案时强制提及多个卖点图像，并通过奖励塑造提升描述的事实准确性。
- MRVBench构建的评估方法（多参考绑定、干扰项拒绝）可借鉴到多模态推荐系统的离线评估中，用于检测生成的推荐理由是否忠实于输入的多张商品图。