AI Papers Daily

#SGD

2 篇

Where, When, and How Many Bits? Scaling Laws for SGD with Stochastic Rounding

随机舍入 SGD 的比特数、训练时间与模型规模缩放定律

🧭 低精度训练 · 随机舍入 scaling laws

University of California, Berkeley · ICSI · LBNL

在两层线性网络上证明随机舍入 SGD 预测误差上下界，给出精度、模型规模与训练时间的 compute-optimal scaling 法则

📌 工作参考价值（4 点）

• 在 LLM/推荐模型低精度训练中优先用随机舍入替代就近舍入，尤其前向激活可低至 8bit/4bit，但反向特征需保留更高精度或单独调度，否则会改变 compute-optimal scaling。
• 采用 EMA/参数平均时，可重新评估各计算环节精度需求：论文表明参数平均会改变哪一阶段需要更高精度，因此推荐训练中的参数平均（如模型合并、Polyak）可搭配更激进的前向量化而不伤害最终效果。
• 固定算力预算下，若需要扩模型或加训练时间，可尝试降低精度换取更多 FLOPs/epochs；在电商搜索推荐的大规模模型训练中，这可能优于保持 BF16/FP32 的小模型。
• 学习率调度需随反向舍入精度调整：部署低精度反向时，原最优学习率可能失效，需搜索并配合 warmup/衰减，避免训练不稳定或收敛变慢。

Training | 2026-10-29 | stat.ML | score 7/10

stochastic roundinglow-precision trainingscaling lawsSGDquantizationcompute-optimal

Fisher-Geometric Sharpness and the Implicit Bias of SGD toward Flat Minima

Fisher几何锐度与SGD隐式偏向平坦极小值

🧭 优化理论 · 信息几何平坦性

Gauhati University

定义重参数化不变的Riemannian sharpness，证明SGD噪声偏向Fisher几何平坦解，并给出泛化界

📌 工作参考价值（4 点）

• 训练推荐模型时，可定期计算参数的 Fisher 锐度（对角 Fisher 近似即可）作为泛化监控指标，替代 Hessian 谱等欧氏平坦性指标，避免重参数化（如 embedding 缩放、特征归一化）导致的不可比问题。
• 优化器设计可借鉴梯度噪声协方差与 FIM 成正比的结构：在推荐模型分布式训练中，若按 FIM 方向调整噪声注入，可能自动偏向平坦解，改善尾部物品 / 冷启动场景的泛化。
• 若团队用 K‑FAC 等二阶优化，其 FIM 估计本身已接近重参数化不变，可作为 flatness‑aware 正则的天然基架，比欧氏 Hessian 更稳定。
• 注意：论文实验仅覆盖 CNN 与小数据集，直接迁移到大模型或搜索推荐需谨慎；但将 sharpness 纳入早停或 checkpoint 选择的思路可直接复用。

Training | 2026-06-18 | cs.LG | score 6/10

Fisher InformationFlat MinimaRiemannian GeometryGeneralizationSGDInformation Geometry