PC Layer: Polynomial Weight Preconditioning for Improving LLM Pre-Training
PC层：多项式权重预调节改善大语言模型预训练
🧭 大模型训练优化 · 权重预调节
The Chinese University of Hong Kong, Shenzhen · Google LLC · University of Illinois at Urbana-Champaign · Shenzhen International Center for Industrial and Applied Mathematics, Shenzhen Research Institute of Big Data
提出可插入Transformer的PC层，通过多项式预调节重塑权重奇异值谱，训练后吸收无推理开销，提升LLM预训练稳定性
📌 工作参考价值（4 点）
- 在电商、Agent等场景的Transformer（如行为序列模型、对话模型）预训练中，若出现训练不稳定或梯度范数异常，可尝试插入PC层作为轻量权重正则化，训练后无推理成本。
- 结合Muon优化器使用时，PC层有额外增益；工业界若评估切换到Muon以获得更优收敛，可同时引入PC层。
- PC层可视为一种即插即用的权重谱整形工具，与现有RMSNorm等输出归一化兼容，可叠加使用以进一步稳定训练。
- 对于预训练后需部署的生产模型，PC层的可合并特性意味着零推理改动，适合 A/B 测试或逐步上线。