MotionCoach: Constructing Multimodal Guidance for Video Professional Motion Editing
MotionCoach:构建多模态引导实现视频专业动作编辑
Peking University · Alibaba Token Hub, Alibaba Group · University of Science and Technology of China · Zhejiang University
训练多模态Agent自动搜索、验证并裁剪动作参考,输出grounded prompt与reference clip,显著提升冻结视频编辑模型的专业动作编辑能力。
📌 工作参考价值(4 点)
- 借鉴“冻结生成模型 + 轻量 Agent 策略”的分离架构:在商品视频生成、广告创意生成中,不重新训练底模,训练一个 VLM Agent 来构造可靠的参考素材和 grounded prompt(包含关键卖点、时间结构、负向约束),可低成本适配垂直类目。
- 借鉴 self-verification 与 tool use:类似 RAG 中的检索后验证,在电商视频编辑中 Agent 可以搜索候选商品素材、检查是否展示正确商品和动作,自验证后裁剪出最有用的片段,避免错误参考导致生成偏差;该逻辑可用于广告素材自动剪辑和生成。
- 借鉴 RL 奖励设计:用三个奖励(prompt 质量、下游生成结果、格式)训练 Agent,尤其以冻结编辑器实际生成的视频作为奖励信号;在推荐/搜索中,可训练 Agent 生成 query 解释或推荐理由,奖励包括文本质量和最终转化/点击模型评分,形成闭环。
- 数据流水线:teacher 模型生成轨迹 + VLM/程序化检查 + 人工抽检,快速构建 SFT/RL 数据,适合缺少标注的垂直领域。