#compute-optimal

4 篇

Where, When, and How Many Bits? Scaling Laws for SGD with Stochastic Rounding

随机舍入 SGD 的比特数、训练时间与模型规模缩放定律

🧭 低精度训练 · 随机舍入 scaling laws

University of California, Berkeley · ICSI · LBNL

在两层线性网络上证明随机舍入 SGD 预测误差上下界，给出精度、模型规模与训练时间的 compute-optimal scaling 法则

📌 工作参考价值（4 点）

在 LLM/推荐模型低精度训练中优先用随机舍入替代就近舍入，尤其前向激活可低至 8bit/4bit，但反向特征需保留更高精度或单独调度，否则会改变 compute-optimal scaling。
采用 EMA/参数平均时，可重新评估各计算环节精度需求：论文表明参数平均会改变哪一阶段需要更高精度，因此推荐训练中的参数平均（如模型合并、Polyak）可搭配更激进的前向量化而不伤害最终效果。
固定算力预算下，若需要扩模型或加训练时间，可尝试降低精度换取更多 FLOPs/epochs；在电商搜索推荐的大规模模型训练中，这可能优于保持 BF16/FP32 的小模型。
学习率调度需随反向舍入精度调整：部署低精度反向时，原最优学习率可能失效，需搜索并配合 warmup/衰减，避免训练不稳定或收敛变慢。

Training | 2026-10-29 | stat.ML | score 7/10

循环混合专家模型的联合缩放定律

🧭 循环 MoE 联合缩放定律 ★ 深度解读

Meta AI

提出首个联合建模循环深度与 MoE 稀疏度的缩放定律，用于资源约束下最优循环 MoE 设计

📌 工作参考价值（4 点）

在推荐/广告场景部署 LLM ranker 或 copy 生成模型时，可借鉴循环 MoE：固定 active 参数下提高 R 换取 reasoning 能力，稀疏度 E 换取总体知识覆盖；按 latency/显存预算联合调 R 和 E，而不是简单增大 dense 参数。
若有训练 scaling law 拟合能力，可仿照论文用小规模 (Nact,D,E,R) sweep 拟合含稀疏度条件的 Neff(R,m)，预估不同 FLOPs/内存下配置的 loss，指导模型 ladder 选型；低内存设备优先高 R 低 E，富内存场景优先高 E 低 R。
循环模型天然支持 test-time scaling：同一 checkpoint 只改 R 即可从低算力到高算力平滑提升效果（案例中 R 1→5 提升 Overall +10.3），适合推荐系夜间批量生成与在线高 QPS 弹性推理。
工程实现采用 middle-block looping：只循环中间层，前两层和后两层不共享，配合逐层监督可让同一模型在多个 R 下可评测；注意全反向传播计算与 unroll 参数成正比，可用 early exit 减少无效深循环。

Training | 2026-09-29 | HF Daily | score 8/10

Chimera：混合视觉扩散 Transformer 的设计与 Chinchilla 缩放

🧭 视觉扩散模型的架构与缩放规律

Adobe Research

提出混合扩散 Transformer 及异配缩放规则，在图像/视频生成中实现 7.3× 计算效率提升与 30 秒零样本长度外推

📌 工作参考价值（5 点）

长上下文高效建模方案可迁移：Kimi Delta Attention (KDA) 实现 O(N) 复杂度的全局状态跟踪，可用于电商场景中长序列用户行为建模或长视频推荐，降低注意力成本。
多模态统一流处理：将文本、图像、视频 token 按光栅顺序混合，无需位置编码，可直接借鉴到电商多模态商品描述（图文视频）的统一表征中，简化预处理流程。
MoE 稀疏活化策略：稀疏 MoE 层在增大模型容量的同时控制激活参数量，适合推荐大模型（如生成式推荐）的扩展，可平衡效果与推理时延。
异构架构的模块化缩放（HeteroP）：根据张量功能扇入与深度动态分配宽度/深度参数，为推荐模型的不同模块（特征交互、序列建模等）提供差异化缩放指导，避免均匀缩放浪费。
计算最优数据配比洞察：图像预训练中激活参数量与训练 token 数近乎均分算力，视频则略偏向参数量——可为多模态推荐模型的训练预算分配提供参考。

Training | 2026-07-29 | HF Daily | score 7/10

原生多模态预训练的可预测扩展法则

🧭 多模态缩放法则与训练效率前沿

The Chinese University of Hong Kong · Tencent

发现原生多模态预训练的损失、模型大小与数据量遵循幂律，数据配比影响计算最优分配，且存在跨模态正向迁移

📌 工作参考价值（4 点）

多模态训练预算分配：固定计算资源下，模型参数量与训练token数存在幂律最优关系，可参考其拟合公式，在训练电商多模态模型（如图文商品理解）时合理分配扩大模型或增加数据的投入。
数据混合策略：文本占比高的多模态混合数据在模型规模较小时不划算，只有大模型才能高效利用，提示在设计电商多模态预训练数据（如商品标题+图片）时，若算力有限可适当提高图片/视觉token比例以获得更快收敛。
跨模态能力迁移：多模态预训练能提升纯文本空间推理，可用于电商场景中需要空间理解的推荐（如家具摆放、服装搭配），无需额外标注即可增强模型的几何关系推理。
少样本多模态上下文学习：原生多模态预训练使模型具备稳健的多模态上下文学习能力，可借鉴到少样本商品属性提取、图文匹配验证等任务中，减少对大量标注的依赖。

Multimodal | 2026-07-23 | HF Daily | score 6/10