Finetuning with Sampling: SFT Learns Better Than You Think
用采样做微调：SFT 比你想的更强
🧭 LLM 后训练 · MCMC 数据分布塑造 ★ 深度解读
Harvard University
用投影采样把离策略专家轨迹逐步变为接近基座模型分布的数据，使 SFT 在科学、数学、医学任务上超越 RL 与自蒸馏
📌 工作参考价值（4 点）
- 在电商/导购 Agent 里做 LLM 后训练时，如果手里有 GPT-4/GPT-5 生成的专家轨迹（如 query 改写、商品文案、购物建议），不要直接 SFT。可以先跑一遍投影采样，把专家轨迹改写到基座模型自己的分布附近，再做 SFT，能明显减少通用能力遗忘。
- 对难以写出 reward 的开放任务（如导购对话、医学/法规咨询生成），可以先采样出 on-policy 版本的高质量轨迹，再 SFT；这比直接上 GRPO/RL 更稳，工程上只需要离线数据加工，不改变现有 SFT 训练管线。
- 采样成本是一次性的，适合电商场景里「预先生成训练数据 → 日常微调」：建议 B=32、N_MCMC=10 起步，后续用 MCMC 步数作为数据质量与 token 成本的旋钮；图 5 表明加采样步数能单调降低数据 KL、提高下游精度。
- 如果要继续上 RL，采样 SFT 的 checkpoint 是很好的 RL 初始化，数学任务里 Sampling SFT + RL 拿到了更强结果；在商品推荐 Agent 的 RL 训练前可用同方案做 warm-start。