Discrete Diffusion Models: A Unified Framework from Tokenization to Generation
离散扩散模型：从分词到生成的统一框架
🧭 离散扩散模型的设计空间统一化
McGill University · Mila - Quebec AI Institute · MBZUAI · University of Cambridge · Salesforce
提出将离散扩散模型视为离散状态空间构建问题的统一框架，揭示设计权衡与未来方向
📌 工作参考价值（4 点）
- 离散扩散模型的并行生成特性可大幅降低推荐列表的推理延迟，适合对实时性要求高的搜索/推荐场景。
- 框架强调的状态空间设计（分词方案、词汇拓扑）直接影响生成质量：在生成式推荐中，物品ID的离散表示方式（如Semantic ID）可类比为“分词”，其设计应仔细考虑语义连续性与扩散过程中的噪声注入方式。
- 统一视角提示了训练目标与推理算法的多种组合（如转移矩阵、掩码状态），从业者可以在物品生成任务中尝试不同配置，以平衡生成多样性与保真度。
- 该框架对扩展性和系统优化的讨论，为大规模推荐系统下离散扩散模型的工程化提供了参考，如KV缓存、批处理策略等。