The Emergence of Relevance Through Axiomatic Attention Patterns During LoRA Fine-Tuning
LoRA 微调中通过公理化注意力模式涌现相关性
🧭 LoRA 微调可解释性 · 重排序 ★ 深度解读
University of Massachusetts Amherst
用 keep/omit 消融定位 RankLLaMA 中 LoRA 注意力更新关键层，并发现其与罕见词敏感、query-doc 交互等公理化注意力模式强相关
📌 工作参考价值（4 点）
- 对搜索/广告 reranker 做 LoRA 时，不必全量微调所有注意力层：在 MLP 全量 LoRA 的前提下，只对中间紧凑窗口（如 RankLLaMA 的 layers 10–18）应用注意力 LoRA，即可恢复全量注意力微调一半以上增益，文档 reranker 变体甚至恢复 70%+，可显著降低训练和推理适配成本。
- 借鉴 keep/omit 消融设计：先用小候选集+Mean Score Margin 快速筛选关键 head/layer/window，再用 NDCG 在更接近线上候选规模上验证，成本低且能定位冗余层，适合业务侧快速做模型裁剪。
- 可用 Normalized Feature Attention 监控 LoRA 微调效果：排除 attention sink（首 token）后，观察模型是否学到 document-query interaction、rare token sensitivity 等业务相关注意力模式，作为微调质量的辅助指标。
- 若线上 reranker 可解释性要求高，可优先关注不同层对 query-doc 交互和稀有词敏感的组合特征，这些组合特征与性能提升相关性最高（keep ρ=0.92, omit ρ=-0.94），能帮助判断模型是否学到类 BM25 的联合相关性信号。