Video = World + Event Stream
视频 = 世界 + 事件流:Wan-Streamer 实时交互的预训练视角
🧭 多模态实时交互 · 世界-事件流分解
Alibaba Group
将视频重新解释为持久世界与事件流之和,提出通用预训练任务,并实现低延迟实时全双工音视频交互
📌 工作参考价值(4 点)
- 世界-事件流分解思想可用于用户行为序列建模:将长期稳定的用户兴趣(世界)与短期刺激(事件流)分离,提升序列推荐模型对上下文变化的鲁棒性。
- 流式预训练范式可被借鉴到实时推荐 agent:将推荐动作视为事件流,在用户-物品交互的流式数据上预训练,使模型学会在毫秒级延迟下预测用户即时意图。
- 全双工交互中的端到端联合训练(感知、时机、动作)可启发对话式推荐 agent 设计,避免模块级联导致的延迟累积与损失隔离。
- 160ms 流单元、200ms 模型延迟的工程实践为实时交互 agent 的部署提供了量化参考,尤其适用于需快速响应的电商直播带货等场景。