How Post-Training Shapes Biological Reasoning Models
后训练如何塑造生物推理模型
🧭 多阶段后训练与泛化权衡分析
Harvard University · Google DeepMind · Google Research
系统分析CPT、SFT、RL对生物推理模型泛化的不同影响，表明ID/OOD权衡取决于阶段组合而非单调提升
📌 工作参考价值（4 点）
- SFT 过拟合警告：SFT 持续提升分布内 (ID) 效果，但分布外 (OOD) 性能会在早期达到峰值后下降。推荐系统微调时需监控 OOD 指标，避免过度适配训练用户/物品分布。
- RL 恢复泛化：在强 SFT 检查点上加 RL（奖励信号与任务对齐）可提升 OOD 并部分恢复泛化。对电商搜索/推荐中的个性化与冷启矛盾，可设计 RL 阶段来对冲过拟合。
- 训练预算分配：固定总训练成本下，短 SFT + 大 RL 预算的 ID-OOD 权衡最佳。实际落地时，可优先保证 SFT 收敛早期即切换 RL，而非一味延长 SFT。
- 阶段非对称适配：不同阶段对模型容量要求不同，CPT 受益于大模型，而 SFT/RL 增益更依赖质量。在大模型推荐系统中，可先 CPT 对齐领域语言，然后用少量高质量 SFT 和充足 RL 调优。