Helping Music Co-Creation Agents 'Listen' Well: Hierarchical Self-Supervised World Models for Understanding and Generation
音乐共创智能体的层次化自监督世界模型
🧭 层次化自监督世界模型 · 音乐生成
Department of Chemistry & Physics, Belmont University
层次化自监督表征使音乐理解与生成解耦，小模型结合流匹配实现实时可交互的共创建议
📌 工作参考价值
- 层次化自监督表征学习可用于序列推荐：粗粒度层级对应长期兴趣（如主题、品类偏好），细粒度层级捕捉短期具体意图（如品牌、价格敏感度），JEPA 的平移等变目标可增强时序泛化，适合电商用户行为建模。
- RAE + 流匹配的轻量生成框架：可将物品 Semantic ID 经 PCA 压缩后作为条件，用流匹配生成推荐序列，层级条件丢弃技巧直接控制推荐结果的多样性与相关性平衡，无需额外采样器。
- 小模型（2.55M）CPU 推理 2.8s 的工程启示：对边缘设备或低延迟推荐 Agent 友好，可考虑用层次化浅层 Swin 编码器替代 Transformer 以压缩推理成本。
- 和弦监督头提升无监督调性检测的现象类比：在推荐中，少量有监督辅助任务（如类目预测）能显著增强无属性标签的冷启动物品表征，值得设计多任务头共享主干。
动机：音乐共创需要智能体既能理解乐段结构又能生成建议，但常见方法依赖大量音乐理论标签，且模型庞大难以实时交互，人类控制权难以保持。
方法关键点：
- 层次化自监督编码器：在 MIDI 钢琴卷图像上训练 2.55M 参数的 Swin V2，采用 JEPA 目标（音高/时间平移等变、掩码嵌入预测、分布正则化），无需乐理标签，学得多粒度表征：粗层级对应乐句边界，细层级捕获音符密度与和声细节。
- 弱监督增强：仅需少量和弦标签训练一个小型分类头，即可将和弦恢复从 0.18 提升至 0.54，并神奇地使无监督调性检测从 0.16 跃升至 0.70。
- 条件生成：按照 RAE 范式，不训练解码器，而是使用条件流匹配模型在像素空间从 PCA 降维的层级表征生成音乐：像素 F1 达 0.996；同样的层级条件丢失率既控制生成多样性，又支持图形化提示做掩码修复，无需定制采样器。
- 实时交互：CPU 推理 2.8 秒，Apple MPS 仅 0.6 秒，可嵌入 LLM 驱动的音乐共创 Agent 作为“听”和“建议”模块。
关键结果：
- 表征层级与音乐时间尺度自发对齐；
- 极少量和弦监督大幅提升关联音乐属性检测；
- 流匹配生成重建质量极高，且条件丢失率可直接控制生成变异性；
- 端到端轻量流水线支持实时人机共创。