Understanding Reasoning from Pretraining to Post-Training
理解推理：从预训练到后训练
🧭 LLM推理的预训练-RL缩放与行为分析
New York University · Modal Labs · University of California, Los Angeles · University of Illinois Urbana-Champaign · Columbia University
以国际象棋为受控实验，揭示预训练损失可预测RL后性能，RL在困难任务中涌现新推理能力
📌 工作参考价值（4 点）
- 预训练损失是RL后性能的强预测指标：在推荐或Agent任务中，可先通过预训练损失筛选有潜力的模型/数据配置，降低RL实验成本。
- RL并非仅锐化SFT策略：在困难样本上能涌现SFT未覆盖的正确行为，提示在生成式推荐或Agent决策中，RL可能探索出更优的item/动作空间。
- RL提升斜率与预训练数据量近似线性关系，预训练投入对下游RL收益有直接放大效应，为「先大力预训练，再轻量RL」的工程路径提供依据。
- 使用棋类等可控环境作为测试平台，思路可复用于推荐系统离线模拟：设计规则明确、奖励可验证的推荐游戏，研究LLM推理行为。