Learning Style, Forgetting Semantics: A Case Study of SFT and RFT on Classification Tasks
学习风格，遗忘语义：SFT与RFT分类任务案例研究
🧭 微调遗忘机制 · SFT vs RFT
University of California, Davis
理论证明SFT因风格漂移导致语义遗忘下界为正，而RFT保持零语义误差
📌 工作参考价值（4 点）
- 在业务中持续微调LLM（如搜索/推荐文案生成、query改写）时，若教师数据存在风格偏好，SFT可能把模型带偏到风格维度而遗忘底层语义能力；可监控风格漂移指标，或对提示分布做均衡化。
- 当任务需要保持跨风格一致性（如同一语义的多种表达），优先考虑RFT/策略梯度或加入风格不变正则，避免SFT因非均匀教师产生离轴漂移。
- 理论框架可指导混合训练：在已有较好拟合的checkpoint上继续SFT时，注意前几步更新的方向，防止在风格上过拟合；必要时用RFT微调或对SFT更新做投影约束。
- 该工作主要偏理论学术贡献，业务可借鉴点有限，核心价值在于提供理解SFT遗忘的新视角。