Scaling Domain Data Repetition in LLM Pretraining
LLM 预训练中领域数据重复的规模化规律
🧭 LLM 预训练数据重复策略
Tsinghua University · ByteDance Seed
固定 TPP 下最优领域重复次数随模型规模略增且与领域验证损失强负相关，可用小模型外推
📌 工作参考价值（4 点）
- 高质量领域数据有限时，不必盲目避免重复：对模型拟合好、验证损失低的领域，可以安全增加重复次数；可先在小模型上观察不同重复率对验证损失的影响，找到临界点。
- 在数据配比流程中，不要只依据唯一数据量判断领域重要性；用小代理模型（相同 TPP）快速扫描各领域最优重复次数，再将结果外推到大模型，可大幅降低大模型实验成本。
- 推荐/搜索场景中，若某些高价值目标域（如特定类目、核心 query 意图）数据稀缺，可借鉴该重复策略，但需持续监控验证损失，防止从“低损失高可重复”偏移为过拟合。
- 工程上可建立“数据重复率—验证损失”曲线作为数据配比决策的轻量工具，纳入预训练/持续预训练的数据准备 pipeline。