StepAudio 3 Gen Technical Report
StepAudio 3 Gen 技术报告
🧭 通用音频生成 · 离散自回归
StepFun-Audio Team
离散自回归统一音频生成模型，基于 RVQ token 和共享码本，在 TTS 与语音设计上达到 SOTA
📌 工作参考价值（4 点）
- 离散 RVQ 表示将音频压缩为 16×2048 码本、12.5 Hz 帧率，类似 Semantic ID 思路，可借鉴用于多模态商品表示或用户行为序列的离散化，降低序列长度、统一语义和声学信息。
- RVQ Adaptor 作为 LLM 与多码本之间的适配层，把 16 个残差码本映射进 LLM 隐藏维度，适合在已有文本 LLM 上接入新的离散模态（如商品图像、音频评论）时参考。
- 干扰感知的渐进式预训练：先冻结 LLM 只训练 Adaptor，再逐步解冻，能保留原有文本能力，对在推荐/搜索 LLM 上增量添加生成式任务有直接借鉴价值。
- 采用“时间轴自回归 + 码本轴并行生成”的两阶段解码，相比全自回归大幅降低推理步数，可迁移到生成式推荐中处理多层语义 ID 的生成。