Intrinsic Distribution Matching
内在分布匹配
🧭 少步文生图蒸馏 · 矩匹配
Inclusion AI · Westlake University · Tsinghua University · Zhejiang University · Shanghai Innovation Institute
提出 IDM,在 DMD 中显式匹配生成器 EMA 特征的均值与逐坐标标准差,提升少步文生图长文本渲染
📌 工作参考价值(4 点)
- 少步生成中的细节保真:在商品图/广告创意生成中,可显式匹配生成器自身 EMA 特征的均值与标准差作为辅助损失,提升提示文本细节(如品牌文字、卖点、活动文案)的还原度。
- 不依赖外部特征编码器,使用生成器 EMA 特征做分布匹配,减少额外训练依赖和线上资源;适合业务侧快速蒸馏或微调文生图模型。
- LoRA 参数高效微调即可获得收益,适合在已有大模型基础上低成本迭代 AIGC 素材生成。
- 可借鉴其分解与消融思路:将分布差拆成高斯矩和非高斯残差,先约束可解释的低阶统计量,比盲目堆损失更可控,也可迁移到其他生成式任务。