The Intruder Threshold: A Spectral Law for LoRA Fine-Tuning
侵入者阈值：LoRA微调的频谱定律
🧭 LoRA微调侵入维度预测 · 理论临界阈值
Technical University of Munich
推导逐层临界更新强度，无参数预测LoRA微调产生灾难性遗忘的侵入维度
📌 工作参考价值
- LoRA 超参预警：计算每层临界强度 \(s^* = \bar{\theta}/(\gamma \sigma_1(BA))\)，仅需一次 SVD，无需验证集扫描，可在微调前诊断层是否易产生记忆覆盖，指导学习率、秩 \(r\) 的设置。
- 遗忘抑制规则：依据阈值推导的 spike-budget rule，限制侵入维度数量，在最脆弱模型上降低 62% 遗忘，且不损失任务性能，适用于推荐系统多任务微调时保护旧任务。
- 安全微调策略选择：全量微调天然安全（更新分散在阈值以下），若 LoRA 更新强度接近阈值，可切换更高秩或调整学习率，避免 Agent 在持续学习时遗忘领域知识。
- 层冻结依据：通过阈值快速筛选高风险层，仅冻结这些层或对其施加更小学习率，在电商搜索或广告模型中平衡新任务学习与遗留能力。
动机：LoRA 微调后权重矩阵常出现“侵入者维度”——与预训练奇异向量近乎正交的新主要奇异向量，导致灾难性遗忘。现有解释多为定性或局限于表示空间，缺乏基于频谱的精确预测。 方法：作者利用随机矩阵理论，从原始权重矩阵 (W) 的奇异值分布出发，推导出每层临界更新强度 (s^=\bar{\theta}/(\gamma\sigma_1(BA)))，其中 (\bar{\theta}) 完全来自 (W) 的频谱，(\sigma_1(BA)) 为低秩更新 (BA) 的最大奇异值。该定律无需任何拟合参数，仅需一次 SVD 即可计算阈值，当更新强度超过 (s^) 时，该层将产生侵入者。 结果：在涵盖 4 种 Transformer 家族、状态空间模型、MoE 及编码器-解码器的 18 个适配器、9840 次层扫描的预注册研究中，该定律在 82% 的层上以 2 倍因子内定位经验阈值；区分侵入层与无侵入层的平均 AUC 达到 0.89；成功预测 WikiText-2 困惑度开始下降的位置；结合两个边缘评估，预测准确率达 98%，并在外部适配器上得到 0.997 的确认。全量微调更新远低于各层阈值，解释了为何全量微调不产生侵入者。基于阈值推导的 spike-budget 规则，仅需一次 SVD、无验证扫描，在最脆弱模型上将遗忘降低 62%，且无任务性能损失。