Specialists Learn Faster: Knowledge Organization in Pre-training Shapes Knowledge Update Efficiency
专家学习更快：预训练知识组织塑造更新效率
🧭 预训练数据组织与知识更新效率
University of Rochester
发现按时间顺序预训练得到的专家模型获取新知识所需更新步数远少于随机顺序训练的通才模型，并提出可预测的预训练数据组织策略
📌 工作参考价值（3 点）
- 对于需要频繁更新知识的场景（新品冷启、新类目/实体词、实时政策词），可以尝试将近期数据按时间顺序组织进行增量预训练或微调，获得“专家”特性，使后续通过 LoRA、模型编辑等方法更新时收敛更快、所需样本更少。
- 为防止对历史知识灾难性遗忘，采用“近期时间顺序数据 + 少量历史重放/锚定样本”的混合组织策略；论文给出的策略在保留稳定历史知识的同时增强当前知识更新效率，可作为推荐/排序模型持续学习中的样本回放设计参考。
- 知识更新成本可通过优化动力学预测，实践中可建立小规模探针实验，评估不同数据排序（时间、类目、热度等）对后续更新效率的影响，选择适合业务的数据组织方式，而不是默认随机 shuffle。