Negligible in Size, Significant in Effect: On Scale Vectors in Large Language Models
被忽视的尺度向量：对LLM训练的巨大影响与优化改进
🧭 LLM优化 · 尺度向量重设计与预条件 ★ 深度解读
ByteDance Seed · Peking University
理论证明Pre-Norm中尺度向量虽参数极少但通过自加速预条件效应关键加速训练，并据此提出分支异构、双端放置与幅度方向重参数化三种改进，在密集和MoE模型上一致提升预训练损失。
📌 工作参考价值（4 点）
- 尺度向量设计可视为免费优化加速器：在推荐模型（如生成式推荐、CTR DNN）的RMSNorm/LayerNorm中，可引入分支特定的尺度向量，为Q/K/V或不同特征交叉分支提供独立的自适应预条件，几乎不增加参数。
- 权重衰减策略直接可复用：对紧接线性层的RMSNorm（Input-Norm）施加weight decay以稳定Hessian、加速收敛；而对不接线性层的（Output-Norm，如Q/K-Norm或最终输出前的归一化）应避免weight decay，防止限制表达能力。这一规则在MoE专家网络或Agent多模块网络中也适用。
- 双端放置与幅度方向解耦提升优化效率：在Transformer类推荐模型（如SASRec、BST）中，对注意力投影矩阵同时加输入侧和输出侧尺度向量（DP），或对FFN的gate/up分支采用 \( \gamma_a \odot \text{Norm}(W(\gamma_b \odot x)) \) 的归一化双端放置，可进一步加速收敛。幅度方向重参数化（OR/ER）在低参数增量下带来更各向异性的预条件机制，适合大规模训练。
- 实验表明，这些trick组合可取得约1.2×-1.25× 的scaler效率提升，在工业级token预算下保持优势，且与Muon优化器、warmup-stable-decay调度兼容，可直接集成到已有训推框架中。