Rescaling MLM-Head for Neural Sparse Retrieval
重新缩放MLM-Head以实现神经稀疏检索
🧭 神经稀疏检索 · MLM-head尺度校正
Korea University · Independent
发现SPLADE训练中MLM-head尺度不匹配导致训练崩溃，提出初始化时简单缩放修正，稳定训练并提升大骨干检索性能
📌 工作参考价值（4 点）
- 在电商搜索或推荐系统的召回阶段，若使用SPLADE类稀疏检索模型，替换更强预训练骨干时出现训练不稳定，可检查MLM-head的L2范数，并在初始化时进行尺度缩放（如除以范数均值），零成本、不改架构，即可恢复稳定训练。
- 该发现提示：对于依赖预训练MLM-head输出构造稀疏表示的模型，模型升级时不能只看编码器能力，还要注意输出头的尺度校准；类似问题可能存在于其他用MLM-head logits构建匹配分数的检索或排序模型中。
- 广告搜索场景中，稀疏词项表示能提供可解释的召回结果，此技巧可帮助团队更放心地将现代预训练模型（如ModernBERT）应用于生产级稀疏检索，提升召回率而无需担心训练崩溃。
- 在Agent系统中若用稀疏检索作为记忆或知识召回模块，更换更强的语言模型时，推荐先检查并校正MLM-head尺度，避免对比训练不稳定导致性能下降。