On the Diffusibility of High-Dimensional Latents
高维潜在表征的可扩散性分析
🧭 扩散模型latent几何与参数化选择
Cornell University · Adobe · Virginia Tech · University of Washington · University of Maryland
发现微调重构编码器会降低latent有效维度并使velocity prediction低效，改用x0-prediction可一致提升text-to-image生成
📌 工作参考价值（4 点）
- 生成式推荐/搜索中若使用latent diffusion在商品或用户表征上做生成，若编码器经过重构微调，应优先采用x0-prediction而非velocity prediction，可避开拟合流形外噪声方向，提升生成稳定性和收敛效率。
- 设计item/user表征autoencoder时，不要只看重构质量；重构微调可能降低有效维度、改变几何结构，需监控latent的intrinsic dimension与流形紧致度，避免下游扩散模型被迫学习大量无效方向。
- 工程实现上，flow matching的velocity目标在高维稀疏latent上常包含大量流形外分量，可在训练时快速对比x0-prediction与velocity prediction的收敛曲线，低成本验证该trick对业务生成任务的收益。
- 对使用CLIP等多模态embedding做文案/图片生成的场景，若对编码器做过重构微调，务必检查其latent几何变化，x0-prediction可能是更稳健的参数化选项。