Behind Video Generation: Observations and Insights on Multimodal Understanding from Kling
视频生成背后：Kling 多模态理解的观察与洞察
🧭 多模态理解 · 视频生成可控性
从数据-条件-对齐-评估链剖析多模态理解如何提升可控视频生成质量
📌 工作参考价值
- Captioning 作为语义契约：在电商多模态内容（商品图/短视频）理解中，可借鉴「描述密度最大化」思路，把 caption 从简单标签升级为细粒度语义描述，提升后续生成/匹配的上限。
- Prompt enhancement 的 RL 在环设计：将用户 query 翻译到高质量描述分布，用文本级 RL 和生成器在环 RL 迭代优化，可直接迁移到推荐系统的 query 改写、广告文案生成，避免只靠 LLM 静态改写。
- 候选从文本单独筛选：训练多模态生成模型前先用文本特征筛选候选，节省端到端训练成本；在商品短视频生成或创意素材筛选中，可先用文本描述打分快速过滤低质候选。
- 奖励模型解耦通用与决策：通用 reward model 做可解释局部批评，决策 reward model 做快速多维评分，可作为电商内容审核、素材优选的双层打分架构参考。
动机：视频生成已从孤立片段发展到连贯短视频，瓶颈从渲染转向语义控制，生成质量是多模态理解在数据-条件-对齐-评估链上的投影。
方法关键点：
- 提出 Kling-MLLM 统一多模态基础模型，支持图像、视频、音频、音视频同步、交错输入，为下游各模块提供共享表征。
- 数据侧：Captioning 视为语义契约，最大化描述密度；扩展 reference-grounded captioning 显式绑定引用关系。
- 条件侧：Prompt enhancement 将用户意图翻译到 caption 分布，基础 PE 从精彩视频字幕提炼并用文本级 RL 和生成器在环 RL 优化；agentic PE 进一步细化故事并检索示例。
- 文本编码器：可靠文本编码来自感知训练而非更强语言能力；候选模型可仅凭文本筛选，降低端到端训练成本。
- 对齐侧：奖励模型拆为通用可解释局部批评模型和快速多维评分的决策模型，将感知带宽作为一等设计参数。
- 评估侧：设计暴露评分捷径的任务级自动评估协议，追踪失败上游来源。
关键结果：无单一量化指标，核心贡献是系统化经验原则：描述密度、感知优先、奖励解耦、评估反作弊。