SoftServe: A Scalable Quasi-Newton Method for Deep Learning
SoftServe：面向深度学习的可扩展拟牛顿法
🧭 深度学习优化 · 拟牛顿法
University of Massachusetts Amherst · CCM, Flatiron Institute · Cornell University
提出无需线搜索和曲率修正的可扩展拟牛顿族 SoftServe，通过正定曲率估计与 Newton-Schulz 迭代训练大规模网络
📌 工作参考价值（4 点）
- 推荐/广告模型常存在病态优化区域：长尾 item/user embedding 梯度方差大、多任务 loss 尺度差异显著。可尝试 SoftServe 的 diagonal 曲率预处理，作为 Adam 的替代或 warmup 后切换，减少手调 epsilon/weight decay 的敏感性。
- 工业级推荐模型参数巨大，Kronecker-factored 变体可对 layer-wise 曲率做结构化近似，类似 K-FAC 但保证正定，适合 Transformer/特征交互层；工程上用 Newton–Schulz 迭代通过矩阵乘法实现，便于 GPU/TPU 加速。
- 该方法强调无需 line search，减少分布式训练中的通信与超参搜索成本；在离线 CTR/CVR 或召回模型训练中，可先在病态子任务（如 autoencoder 特征压缩、辅助 loss）上验证收敛速度与最终 loss。
- 注意：论文主要面向通用深度学习优化，不是推荐/检索架构本身；落地前需评估其对稀疏 embedding、动态数据流和在线更新的兼容性，初期以离线对比实验为主。