UnityShots: Memory-Driven Multi-Shot Audio-Video Generation with Boundary-Aware Gating
UnityShots: 记忆驱动多镜头音视频生成与边界感知门控
🧭 多镜头视频生成 · 记忆机制
The Hong Kong University of Science and Technology · The Chinese University of Hong Kong · Kling Team, Kuaishou Technology · Tsinghua University · Sun Yat-sen University
用固定大小记忆槽和边界感知门控实现跨镜头一致性音视频生成，指标领先开源并与闭源持平
📌 工作参考价值（4 点）
- 多镜头连贯生成可直接用于商品展示视频：固定大小的长期记忆（锚定开场镜头）与短期记忆（前一镜头尾部）槽位设计，可在自动生成多角度、多场景商品介绍时保持产品外观、环境的一致性，避免人工拼接。
- 边界感知门控可用于用户行为序列的切点检测：将视觉切幅概率与节拍信号融合的思路，可迁移到电商用户session划分中，用行为突变信号（如点击间隔、内容切换）触发推荐策略切换。
- 离散切类型先验作为可控开关：通过AdaLN学习离散过渡强度，在生成时可控制镜头连接的平滑或突兀程度，类似推荐系统中多样性/一致性的可调节参数，适用于广告混剪的节奏控制。
- 参考说话人token保持音色：在虚拟主播、广告旁白等多镜头音频生成中，可保证人声一致性，无需滑窗音频库，降低工程复杂度。