Mage-Flow: An Efficient Native-Resolution Foundation Model for Image Generation and Editing
Mage-Flow：高效原生分辨率图像生成与编辑基础模型
🧭 高效多模态生成 · 原生分辨率扩散 Transformer
Microsoft
通过 tokenizer-骨干-系统协同设计，以 4B 规模实现高效高分辨率图像生成与编辑
📌 工作参考价值（4 点）
- 高效 tokenizer 设计：Mage-VAE 一步扩散式编解码与 anchor-latent 正则化，在保持重建质量的同时将 tokenization 成本降低一个数量级。该思路可迁移至电商生成式推荐中的 item image/text 压缩，减少序列长度与训练开销。
- 原生分辨率训练加速：采用 native-resolution packing 与 CUDA kernel fusion，支持任意分辨率训练，端到端吞吐提升约 2.5 倍。推荐系统中的多模态召回/排序模型可借鉴此系统优化方法，在 GPU 集群上高效训练多尺度内容。
- 低延迟推理蒸馏：通过对抗感知蒸馏与 rectified flow 匹配，实现 4 步 Turbo 模型，大幅降低推理延迟（1024 生成 0.59s，编辑 1.02s）。可用于推荐系统中的图像生成模块（如广告创意生成、商品图编辑）实现实时交互。
- 系统协同设计思想：tokenizer、backbone、训练策略联合优化，而非独立改进各模块。构建推荐模型时，可借鉴统一考虑特征编码、模型架构与训练效率，达到性能与成本的更优平衡。