Encore: Infinite Audio-Video Generation with Adaptive Signal Routing
Encore:利用自适应信号路由实现无限音视频生成
🧭 长音频视频生成与跨模态合成
Baidu · Beijing Institute of Technology
提出长音频视频联合生成框架Encore,通过自适应信号路由解决跨模态长时一致性
📌 工作参考价值(4 点)
- 长序列多模态生成可借鉴双通路设计:局部连续性用 chunk 迭代加显式跨 chunk 上下文传递,全局一致性用参考信号加 shifted position embedding,电商短视频、直播切片自动配音等场景可复用。
- Adaptive Signal Routing 的 learnable attention biases 与 residual scales 是通用插件,可控制多模态生成中不同 conditioning 信号(文案、画面、背景音乐)的权重,适合商品视频生成中的模态协调。
- 推理阶段持续对 ground-truth modality 做 conditioning,实现无限长度 audio-to-video / video-to-audio,能迁移到为已有商品图生成配音、或为音频补全视频帧等交互式素材生成。
- 注意:该工作属于多模态生成模型,非推荐系统本身,但可作为内容供给侧自动生成工具,提升电商内容生态丰富度。