#RMSNorm

3 篇

Where Rounding Happens Matters: Rounding-Location Alignment Stabilizes LLM Reinforcement Learning

舍入位置对齐稳定 LLM 强化学习

🧭 LLM RL 数值稳定性

ByteDance Seed · Peking University

对齐训练与推理的 RoPE/SwiGLU/RMSNorm 舍入位置可避免 BF16 RL 崩溃

📌 工作参考价值（4 点）

用 vLLM rollout + HF 重算 log-prob 的 RL 流程，优先检查/对齐 RoPE 路径的舍入位置；本论文中单独对齐 RoPE 即可防崩溃，成本最低、不动推理引擎和 attention kernel。
BF16 RL 训练时，可把 RoPE/SwiGLU/RMSNorm 的中间激活保留 FP32 到输出再截断为 BF16；这是训练侧局部代码改动，避免了全局 FP32 带来的吞吐损失。
出现 LLM RL 不稳定的广告/推荐文案生成或对话 Agent 策略时，先别改算法或调 reward，先监控 rollout 与 training recompute 的 log-prob 差异；差异可能来自 rounding location 而非数据或算法。
该结论可迁移到基于 Qwen 等开源模型的搜索推荐 Agent 后训练：维持 BF16 matmul/kernel 性能，同时用局部舍入对齐降低 off-policy 偏差。

Training | 2026-10-23 | cs.LG | score 6/10

LLaDA-Image：全开放训练配方构建强大图像生成器

🧭 图像生成 · 开放训练配方

AGI Research Center, Inclusion AI

从零训练6B DiT图像生成模型，开源权重与代码，在Qwen-Image-Bench双榜达到开源SOTA

📌 工作参考价值（4 点）

电商商品图/广告素材生成：可借鉴其 image-only pre-training 策略，先利用海量无标注商品图构建视觉生成先验，再做文本对齐，降低对配对图文数据的依赖。
训练效率优化：parameter-free RMSNorm 搭配 Muon optimizer 替换 LayerNorm/Adam，可减少显存占用并提升大模型收敛稳定性，适合在自研 DiT 或生成式推荐模型中试验。
推理加速：TwinFlow 蒸馏至 2-4 步采样，可用于实时商品素材生成、Agent 内图像生成模块的低延迟部署。
数据配方参考：220M 训练样本中 98% 为真实图像，说明高质量真实数据是生成质量的关键，电商可加强商品图质量治理并充分利用 UGC 素材。

Multimodal | 2026-09-02 | HF Daily | score 6/10

被忽视的尺度向量：对LLM训练的巨大影响与优化改进

🧭 LLM优化 · 尺度向量重设计与预条件 ★ 深度解读

ByteDance Seed · Peking University

理论证明Pre-Norm中尺度向量虽参数极少但通过自加速预条件效应关键加速训练，并据此提出分支异构、双端放置与幅度方向重参数化三种改进，在密集和MoE模型上一致提升预训练损失。

📌 工作参考价值（4 点）

尺度向量设计可视为免费优化加速器：在推荐模型（如生成式推荐、CTR DNN）的RMSNorm/LayerNorm中，可引入分支特定的尺度向量，为Q/K/V或不同特征交叉分支提供独立的自适应预条件，几乎不增加参数。
权重衰减策略直接可复用：对紧接线性层的RMSNorm（Input-Norm）施加weight decay以稳定Hessian、加速收敛；而对不接线性层的（Output-Norm，如Q/K-Norm或最终输出前的归一化）应避免weight decay，防止限制表达能力。这一规则在MoE专家网络或Agent多模块网络中也适用。
双端放置与幅度方向解耦提升优化效率：在Transformer类推荐模型（如SASRec、BST）中，对注意力投影矩阵同时加输入侧和输出侧尺度向量（DP），或对FFN的gate/up分支采用 \( \gamma_a \odot \text{Norm}(W(\gamma_b \odot x)) \) 的归一化双端放置，可进一步加速收敛。幅度方向重参数化（OR/ER）在低参数增量下带来更各向异性的预条件机制，适合大规模训练。
实验表明，这些trick组合可取得约1.2×-1.25× 的scaler效率提升，在工业级token预算下保持优势，且与Muon优化器、warmup-stable-decay调度兼容，可直接集成到已有训推框架中。

Training | 2026-05-25 | HF Daily | score 8/10