Beyond the Answer: Student-Conditioned Trace Construction for Reasoning Distillation
超越答案：学生条件化的推理轨迹构建与蒸馏
🧭 推理蒸馏 · 学生条件轨迹构建
Stony Brook University · Meta AI
提出 ReDiST，以学生自身尝试为起点构建并筛选推理轨迹，提升推理蒸馏效果
📌 工作参考价值（4 点）
- 可借鉴 ReDiST 的“学生条件化”轨迹筛选：在微调推荐/Agent 推理模型时，不要直接用统一 CoT 数据，而是用目标小模型自身的失败尝试作为种子，再结合证据与正确答案改写，能提升学习效率。
- 用 frozen “student-matched reader” 对候选轨迹打分：以 answer recovery 和 verified-answer probability 排序，过滤掉目标模型难以模仿或信息冗余的轨迹；可用于电商多跳问答、广告归因解释等数据清洗。
- 蒸馏时加 auxiliary answer loss 平衡中间推理与最终答案监督，避免小模型只学会模仿冗长/不适配的推理格式，却答不对。
- 评估轨迹教学价值时，应在源任务与跨分布 benchmark 同时验证；不同监督配方的排名可能反转，避免单看源域指标选定方案。