Generating Pretraining Tokens from Organic Data for Data-Bound Scaling
从有机数据生成预训练 tokens 以突破数据墙
🧭 数据受限下合成数据生成 ★ 深度解读
Language Technologies Institute, Carnegie Mellon University · Xlue
SYNPRO 通过忠实且模型感知的合成数据生成，让 LLM 从有限有机数据中榨取更多有效 token，实现最高 5.2 倍重复训练的效率提升。
📌 工作参考价值（4 点）
- 用 faithfulness 奖励约束合成数据的分布一致性：在电商推荐场景中，对用户行为序列（如点击流）做 rephrase 或 reformat 生成训练样本时，必须强制生成内容忠于原始序列，避免引入幻觉或知识蒸馏，否则会导致分布坍缩，损害长期效果。
- 模型感知的数据生成：借鉴 SYNPRO 的数据影响奖励，在 Agent 多智体训练或生成式推荐中，可以动态评估当前模型在哪些样本上损失下降较大，引导数据生成器朝着模型当前不擅长的内容倾斜，类似在线课程学习，持续突破性能瓶颈。
- 数据操作组合：rephrase + reformat：Reformat 将源数据转化为 QA、对比分析、推理链条等任务形式，可迁移至电商搜索、推荐解释生成等场景；将用户序列或商品描述重新格式化为结构化常识推理段落，能帮助模型学到更深层的语义关联。
- 多轮迭代合成与累积合并：工作证实将历次生成的数据一起混合训练比只用最新一批更有效，工程实现上可以建立合成数据池，配合模型 checkpoint 迭代扩增，最大化有限原始数据的价值。