Leveraging Instruction Tuning and Merging for Reasoning Model Adaptation
利用指令微调与模型合并实现推理模型低成本领域适应
🧭 推理模型适应 · 指令微调+合并
ETH Zurich
先指令微调再与原始推理模型合并，低成本提升在难验证领域的性能
📌 工作参考价值（4 点）
- 若拥有特定领域的高质量SFT数据（如电商搜索意图、商品摘要），可对推理模型进行无推理痕迹的指令微调，再与原模型合并，以极低成本（<3美元）提升该领域效果，同时保留推理能力。
- 模型合并技巧可作为一种轻量领域适应方案，避免灾难性遗忘，适合在资源有限时快速迭代测试。
- 对于缺乏可靠自动评估的生成式推荐或Agent任务，可考虑用人类标注数据微调再合并，绕开难以设计的奖励函数。
- 方法简单稳健，适合嵌入现有LLM微调流水线，作为RLVR训练前的快速实验步骤。