Universal Textual Teaching for LLMs
面向大语言模型的通用文本教学
🧭 LLM 文本知识蒸馏 · Primer ★ 深度解读
Westlake University
提出 UTT，无需参数更新，将 Teacher-Student 知识差距蒸馏为可迁移的自然语言 Primer，显著提升推理与代码生成性能
📌 工作参考价值（4 点）
- 业务中有强模型（如 GPT-4/Claude）和弱模型（如开源小模型或 API 便宜模型）时，可借鉴 UTT 对困难 query/商品/广告创意做配对评估，自动生成可复用 prompt/Primer，无需微调弱模型即可提升效果，尤其适合只能调用 API 的模型。
- 知识差距选择比随机选择更有效：先找出教师答对、学生答错的样本，再让教师针对性生成教学指令和演示，比直接让教师总结全量数据更利于迁移。可用于构建困难样本集或优化 few-shot 示例。
- 验证门控机制实用：每次更新 prompt/Primer 前，用小批量验证集确认不降低学生已有能力，避免自动 prompt 优化或 Agent 指令库更新时出现退化。
- 跨模型迁移性提示：同一个文本提示可在不同版本/不同家族的模型间复用，适用于多模型路由、灰度发布或模型升级时的知识继承。