How Much Does the Hint Matter? Scope Conditions for Hindsight Self-Distillation in Financial Reasoning
提示有多重要？金融推理事后自蒸馏的边界条件
🧭 事后自蒸馏 · 多步推理
University of California, Berkeley · CTGT
提出 Fin-SD，以学生自定位错误并生成提示、截断错误前缀进行事后自蒸馏，无需外部教师即可提升多步推理
📌 工作参考价值（4 点）
- 在电商/Agent 中需要多步推理（优惠计算、库存规则、合规审核）但只能本地部署小模型时，可借鉴 Fin-SD：让学生自己生成提示、在正确前缀上条件蒸馏，无需外部教师或完整答案，适配数据驻留与隐私约束。
- 关键 trick：提示内容不重要，监督位置才重要；可用通用/模板化反馈替代精写 critique，显著降低标注与生成成本，只需定位首个错误步骤即可施加有效监督。
- 同家族更大模型生成提示没有额外收益，说明业务中不必调用 6 倍参数模型做教师或标注，小模型自蒸馏即可省算力。
- 蒸馏后生成 token 少 9.5%，有利于降低 Agent 推理延迟和线上成本；通用推理/合规指标无退化，适合作为垂直推理增强的轻量后训练工序。