#Newton-Schulz

4 篇

SoftServe: A Scalable Quasi-Newton Method for Deep Learning

SoftServe：面向深度学习的可扩展拟牛顿法

🧭 深度学习优化 · 拟牛顿法

University of Massachusetts Amherst · CCM, Flatiron Institute · Cornell University

提出无需线搜索和曲率修正的可扩展拟牛顿族 SoftServe，通过正定曲率估计与 Newton-Schulz 迭代训练大规模网络

📌 工作参考价值（4 点）

推荐/广告模型常存在病态优化区域：长尾 item/user embedding 梯度方差大、多任务 loss 尺度差异显著。可尝试 SoftServe 的 diagonal 曲率预处理，作为 Adam 的替代或 warmup 后切换，减少手调 epsilon/weight decay 的敏感性。
工业级推荐模型参数巨大，Kronecker-factored 变体可对 layer-wise 曲率做结构化近似，类似 K-FAC 但保证正定，适合 Transformer/特征交互层；工程上用 Newton–Schulz 迭代通过矩阵乘法实现，便于 GPU/TPU 加速。
该方法强调无需 line search，减少分布式训练中的通信与超参搜索成本；在离线 CTR/CVR 或召回模型训练中，可先在病态子任务（如 autoencoder 特征压缩、辅助 loss）上验证收敛速度与最终 loss。
注意：论文主要面向通用深度学习优化，不是推荐/检索架构本身；落地前需评估其对稀疏 embedding、动态数据流和在线更新的兼容性，初期以离线对比实验为主。

Training | 2026-10-01 | cs.LG | score 7/10

Dion3：Muon 优化器全栈正交更新加速

🧭 Muon 优化器全栈加速与分布式优化 ★ 深度解读

New York University · Princeton University · NVIDIA · Yale University · Microsoft Research

提出 Gram Newton-Schulz、对称 GEMM 核、分数行选择更新和 megabatching，将 Muon 优化器步时最多降低 6 倍且保持/提升模型质量

📌 工作参考价值（4 点）

Gram Newton-Schulz 可作为标准 Newton-Schulz 的 drop-in 替换，在权重矩阵 aspect ratio 高（如 MLP/MoE 权重）时显著减少 FLOP，适合推荐/广告模型中常见的宽矩阵，无需改变训练流程。
分数行选择 + error feedback 是实用的加速技巧：每次只正交化动量矩阵中 ℓ1 范数最大的 f 行，学习率按 η/√f 缩放，在资源受限时可将优化器计算量降低约 1/f²，且不损害甚至轻微提升模型质量。
Megabatching 策略对 FSDP 下的通信优化很有价值：按矩阵形状分组做 all-to-all，减少通信轮次至 O(1)，在中小模型通信瓶颈场景（如 1B 模型 8 卡）可降低 35% 优化器步时，值得工程实现借鉴。
自定义对称 GEMM 核（CuteDSL）利用对称性只计算下三角并复制到上三角，在 Hopper/Blackwell 上获得近 2× 速度，适合集成到训练框架中以加速大量对称矩阵乘法。

Training | 2026-08-11 | HF Daily | score 8/10

分层Muon：高效训练的分块Newton-Schulz更新

🧭 高效训练优化器 · 分块Newton-Schulz

通过将动量梯度矩阵分块独立应用Newton-Schulz，大幅降低Muon优化器计算量并实现高效GPU并行

📌 工作参考价值（4 点）

在训练含有大型密集矩阵参数的推荐或广告模型时，可将 Muon 优化器的 Newton-Schulz 步改为分块方案，直接降低从 O(r²s) 到 O(HWT) 的单步计算量，同时保持接近全矩阵更新的训练效果。
利用独立小方块计算的特性，可以设计 tile-size 相关的 GPU kernel，配合跨层批处理（cross-layer batching），将不同层的同尺寸块合并批量矩阵乘法，显著提升 GPU 吞吐。
采用内存受限分块（memory-bounded chunking）和运行时动态调整块尺寸的策略，能灵活适配不同硬件显存限制，避免 OOM 且不牺牲收敛。
该方法将矩阵谱交互限定在块内，可作为工程上折衷效果与效率的通用抽象，类似思路可迁移至其他需要 per‑parameter 矩阵变换的优化场景（如 Shampoo 类优化器的分块近似）。

Training | 2026-06-25 | cs.LG | score 6/10

DynMuon：动态频谱塑形优化器

🧭 动态频谱塑形优化 · Muon改进 ★ 深度解读

University of Wisconsin–Madison · MIT · Elorian AI

动态调度Muon类矩阵更新的频谱指数p从正到负，早期聚焦高曲率方向，后期转向平坦方向，实现更优收敛

📌 工作参考价值（4 点）

动态频谱调度可迁移：在训练推荐模型（如CTR预估、Embedding矩阵）的矩阵参数时，可引入类似DynMuon的阶段式频谱调整，前期用高曲率方向加速信号衰减，后期转向平坦方向捕捉剩余信号，避免固定谱变换的次优性。
高效近似实现：利用Newton–Schulz迭代+二阶泰勒展开近似任意p的UΣ^pV^T更新，额外计算成本仅比Muon增加0.3%~2.5%，可即插即用地嵌入现有AdamW/Muon框架，适合大规模电商模型训练。
噪声感知的调度设计思路：通过曲率方向上的信号-噪声分解（如本文的mode-wise分析），可诊断训练中各子空间的优化状态，指导自适应调度，例如在Agent多智体协作训练中动态分配参数更新强度。
简单的logistic调度策略：p从1平滑降至-0.25，仅需两个超参数（τ, w），鲁棒性强，无需在线估计曲率，可直接作为默认配置，为其他动态优化器设计提供参考。

Training | 2026-05-15 | HF Daily | score 8/10