Intrinsic Distribution Matching
内在分布匹配
🧭 少步文生图蒸馏 · 矩匹配
Inclusion AI · Westlake University · Tsinghua University · Zhejiang University · Shanghai Innovation Institute
提出 IDM，在 DMD 中显式匹配生成器 EMA 特征的均值与逐坐标标准差，提升少步文生图长文本渲染
📌 工作参考价值
- 少步生成中的细节保真：在商品图/广告创意生成中，可显式匹配生成器自身 EMA 特征的均值与标准差作为辅助损失，提升提示文本细节（如品牌文字、卖点、活动文案）的还原度。
- 不依赖外部特征编码器，使用生成器 EMA 特征做分布匹配，减少额外训练依赖和线上资源；适合业务侧快速蒸馏或微调文生图模型。
- LoRA 参数高效微调即可获得收益，适合在已有大模型基础上低成本迭代 AIGC 素材生成。
- 可借鉴其分解与消融思路：将分布差拆成高斯矩和非高斯残差，先约束可解释的低阶统计量，比盲目堆损失更可控，也可迁移到其他生成式任务。
动机
少步文生图必须用极少采样步准确还原提示细节，长文本渲染是典型压力测试。DMD 通过分数差逼近期望分布，但学到的监督可能缺少对关键统计量的显式控制。
方法关键点
对 reverse-KL 场做分解，识别出可由高斯矩表达的分量与非高斯残差。IDM 保留完整 DMD 校正，同时用生成器自身 EMA 副本的特征，显式匹配特征均值和逐坐标标准差，不依赖外部特征编码器。支持全参数与 LoRA 两种微调方式，在 Z-Image-Turbo 6B 和 Qwen-Image 20B 上验证。
关键结果数字
在两次网络评估预算下，中文/英文 LongText-Bench 分别达到 94.25% 和 90.20%，为同预算最优；消融显示新增矩损失带来增益，生成器 EMA 特征与外部 DINOv2 编码器在五项指标上表现相当。