Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding
Nemotron-Labs-Diffusion：统一自回归、扩散与自推测的三模式语言模型
🧭 扩散语言模型 · 自推测解码
单模型支持自回归、扩散、自推测三种解码模式，在吞吐和效率上显著超越开源AR和扩散LM。
📌 工作参考价值（4 点）
- Agent 系统低延迟推理：在对话或实时推荐 Agent 中，可切换至自推测模式，用扩散模型快速生成草稿再由 AR 验证，有效降低首 token 延迟和端到端耗时。
- 离线批量生成任务：生成大量商品描述、广告文案等场景，启用纯扩散模式并行解码，大幅提升吞吐，降低 GPU 成本。
- 灵活部署与资源管理：三模式架构允许根据 Concurrent Users 动态切换：高并发用 AR 减少排队，低并发用自推测提升交互体验，离线任务用扩散最大化硬件利用率。
- 训练范式迁移：联合 AR 与扩散训练的策略可借鉴至推荐系统，用于同时捕捉序列依赖（用户行为序列）和全局规划（推荐列表多样性），提升生成式推荐的质量。