Knowledge Distillation During Mid-Training Favors Reasoning over Factual Recall
中训练阶段知识蒸馏偏向推理，损害事实召回
🧭 LLM 知识蒸馏 · mid-training 优化 ★ 深度解读
Meta AI · University of Washington · Princeton University
发现 mid-training 中标准 KD 产生推理-事实召回权衡，提出基于 teacher entropy 的 Switch Distillation 做 token 路由以保住推理增益和事实召回
📌 工作参考价值（4 点）
- 在业务基座 LLM 继续预训练/领域适配时，若用大模型做 logit 蒸馏，不要全 token 均匀蒸馏。按 teacher 预测熵做 token-level 路由：低熵 token（数学、代码、指令模板、强过程性推理）走 reverse KL 蒸馏，高熵 token（商品事实、知识条目、长尾搜索词）保留 CE 或 ground-truth label，降低对事实型知识获取的抑制。
- 将能力评估拆成 Reasoning / Factual Recall / Knowledge & Commonsense，分别监控，而不是只看平均分；尤其做搜索/推荐模型蒸馏时，事实召回（如商品属性、SPU 知识）不能牺牲。
- 工程实现成本低：只需在已有 teacher logits 上多算 entropy 和 batch 内分位数，不需要额外模型前向或参数，可即插即用；q=20% 可作为默认值。
- 如果业务场景是 Agent 能力蒸馏或 query 改写/生成，建议优先选择与 student 容量差距较小的教师（如 7B 教师优于 13B），并在 post-training 后重新评估，不能只看 mid-training 指标。