Mitigating Model Collapse through Dreaming Learning
通过 Dreaming Learning 缓解生成模型模型崩溃
🧭 生成模型训练 · 模型崩溃缓解
Sapienza University of Rome · Sony CSL Rome, CREF · University of Copenhagen · Complexity Science Hub Vienna
用高温自采样样本作正则，阻止合成数据训练中的谱隙变窄与多样性塌缩
📌 工作参考价值（4 点）
- 在电商/广告场景用 LLM 批量合成 Query、商品标题或推荐理由时，若后续模型继续在这些合成数据上训练，容易出现多样性下降。可以借鉴 Dreaming Learning：训练时额外对一个高温度 Td>1 下模型自身采样结果加正则 loss，低成本抑制分布塌缩。
- 数据积累不一定能阻止模型崩溃，尤其采样温度 Ts<1 时。如果合成数据链路里为了可控性使用了低温度采样，要主动引入高温度样本或正则，而不是只增加数据量。
- 该工作用 transition operator 的次主导特征值和谱隙监控多样性，适合做离线监控指标：在训练生成式推荐/Query 模型时，可以周期性观察谱隙是否收窄，提前发现模型多样性退化。
- 方法实现简单，只增加一个 loss 项，不改变模型结构，容易嵌入现有 LLM/SLM 训练流程；对 124M GPT-2 级别模型也验证有效，中小规模业务模型可参考。