Fine-Tuning Without Forgetting via Loss-Adaptive Learning Rates
通过损失自适应学习率实现不遗忘的微调
🧭 损失自适应学习率缓解微调遗忘 ★ 深度解读
University of California San Diego
提出与训练损失平方根成反比的学习率调度，在保持新任务性能的同时，平均减少93%的灾难性遗忘。
📌 工作参考价值（4 点）
- 在电商客服或推荐解释的LLM微调中，可直接用FINCH代替常规余弦调度，无需修改目标函数或准备回放数据，即可保持模型在通用对话、推理等能力上的性能。
- 做新知识注入（如新品信息、新政策）时，FINCH能大幅减轻幻觉率上升和校准退化，比单纯的小学习率或LoRA更优。
- 方法实现简单：只需在训练循环中维护损失指数滑动平均，并据此计算每步学习率，与AdamW兼容，引入超参数少（仅ηbase和ηmax），适合快速工程落地。
- 对于需要持续微调但预训练数据不可访问的场景（如多轮对齐优化），FINCH提供了一种廉价的数据遗忘控制手段，可避免模型在反复更新中能力坍塌。