softmax 与交叉熵的数值修复：消除梯度塌缩与抵消
🧭 数值稳定训练 · softmax/CE 修复 ★ 深度解读
Google DeepMind
修复 softmax/cross-entropy 的两个数值 bug，消除 Slingshot 尖刺与蒸馏漂移
📌 工作参考价值（4 点）
- 在大规模多分类/生成式推荐训练（含 bf16）中，若出现 loss 精确为 0、梯度不对称或 Slingshot 尖刺，优先检查 logit margin 是否超过精度悬崖：bf16 约 5.5，fp32 约 16.6。可直接替换 CE 为论文的稳定实现：loss=softplus(-margin)，margin=-logsumexp(非目标 logits - 目标 logit)，保证 target logit 梯度不归零且梯度严格零和。
- 做知识蒸馏（如 LLM 教师蒸馏排序模型、语义 ID 蒸馏、ctr 蒸馏）时，学生接近教师时标准 soft-target CE 会因 q-p 相减产生非零噪声梯度，导致学生漂移；应改用 log-space 直接计算 q-p 的实现（expm1/log1p），保证 zS=zT 时梯度为 0，bf16 下尤其重要。
- AdamW/Adam 训练时 logit margin 最终会稳定在 log(1/ε)，若 ε=1e-8 则 margin≈18.4，略高于 fp32 悬崖；可通过调整 ε 避开精度悬崖或使用稳定 CE，避免高置信度下的隐性优化问题。
- 该修复为 drop-in 替换、无额外计算开销，建议直接用于训练框架的 CE 实现，防止高置信度场景的数值退化。
可验证奖励强化学习中动量何时有效
🧭 LLM 强化学习优化器动量策略 ★ 深度解读
Peking University · Shanghai Jiao Tong University · SIMIS · Stanford University
证明 RLVR 中固定动量增益会被采样噪声淹没，需随学习率放大 β 才能稳定获益
📌 工作参考价值（3 点）
- 在 RLVR/GRPO 类 LLM post-training 里，AdamW 的 β1 别只留默认 0.9；可以尝试 β1=1-1e-6 甚至 1-1e-9，同时观察 reward/准确率是否稳定提升。
- 如果想降学习率换取更稳训练，应同步放大 β，使 η/(1-β) 维持在安全区间，避免固定 β 导致动量增益被采样噪声淹没。
- 做带采样奖励的在线策略优化（如 Agent 任务、推荐/广告的 policy gradient）时，若发现 momentum 无效，先别否定动量，检查 lr 与 β 的比值是否过小；用少数 seed 很难区分固定 β 和 no-EMA，建议多 seed 或看 SNR。
大规模激活的生命周期：随机诞生、权重衰减驱动的增长与竞争性巩固
🧭 Transformer 训练动态 · 激活规模调控
Aimpoint Digital Labs, Atlanta, GA, USA · Mistral AI, Paris, FR · New York University, New York, NY, USA
揭示 transformer 中 massive activations 由 AdamW 预条件增长与 weight decay 平衡驱动，权重衰减控制其峰值与衰减
📌 工作参考价值（4 点）
- 在微调 LLM 或生成式推荐模型时，若发现 attention sink 激活异常，可通过增大 weight decay 压制峰值；继续预训练时降低 weight decay 则允许 large activation 继续增长，需结合梯度流稳定性权衡。
- 监控 residual stream 激活时不要只看单个 channel，应关注 sink token 的 collective RMS：梯度衰减由整体规模决定，单通道指标会误导。
- 在做量化或 KV cache 优化前，先检查 massive activation 的规模；weight decay 调度可作为训练期控制激活量级的杠杆，避免异常激活导致量化误差或注意力偏差。
- 对训推一体的推荐/Agent 系统，AdamW 的 weight decay 系数可影响模型激活分布，进而改变推理时 attention sink 强度，需要纳入超参搜索范围。
优化器综述：矩阵感知方法与严格评估协议
🧭 训练优化器设计空间与评估协议
沿时间估计、更新几何、时间线管理、表示与系统四轴综述优化器，指出矩阵感知有效但无普适AdamW替代
📌 工作参考价值（4 点）
- 微调推荐/搜索排序大模型或训练生成式推荐模型时，AdamW仍是默认基准；若Transformer权重矩阵占比高，可对attention投影层、embedding层分组试验Muon/Shampoo等矩阵感知方法，但需控制调优预算，避免一次性全量替换。
- 工程上部署低精度训练或分片训练时，优化器状态量化会直接影响收敛与最终业务指标（如CTR AUC、NDCG），需在业务验证集上确认，不能只看训练loss。
- 面对小批量在线学习或流式更新场景，可尝试schedule-free或小批量校正方法，降低对学习率调度和batch size的敏感性，减少调参成本。
- 建立优化器评估协议：固定数据量、批量大小、参数分区、训练时长和硬件环境，同时报告tokens/s或samples/s、显存占用与最终业务指标，避免单维度对比得出误导性结论。
ISO：一种原生 RLVR 优化栈
🧭 RLVR 训练优化 · 等谱优化
The University of Texas at Austin · UIUC · Emory University · Together AI · Recursive Superintelligence Inc
发现 RLVR 中的谱继承现象，提出等谱优化框架，固定奇异值只优化奇异框架，加速训练与模型合并。
📌 工作参考价值（4 点）
- 加速 Agent 或推理模型微调：借鉴 ISO-Optimizer 将权重矩阵 SVD 后固定奇异值谱，仅优化输入/输出奇异框架，可在电商搜索 Agent 或生成式推荐模型的 RL fine‑tuning 中大幅减少训练步数，快速验证 reward 设计。
- 无数据模型合并：ISO-Merger 能将多个共享基模型的专项模型（如分别擅长意图识别、参数抽取的 Agent 模型）合并为一个固定谱模型，无需任何额外数据或梯度更新，直接产出可部署的聚合模型，降低线上迭代成本。
- 从预训练到 RL 后训练的优化器迁移：可保留基模型的谱结构，仅将标准优化器（如 AdamW）应用于奇异框架，在推荐系统召回或排序模型的后训练场景中，可能获得更稳定、更快的收敛。
- 模型压缩或部署：固定谱意味着模型大部分参数保持静态，可结合低秩更新或量化，适合边缘侧 Agent 或推荐模型的轻量化部署。
OmniOpt: 现代优化器分类、几何与基准评测
🧭 现代优化器统一分类与基准评测
Shanghai Artificial Intelligence Laboratory · Shanghai University · Westlake University · Shanghai Jiao Tong University · UCAS
提出统一元流水线与LMO框架，构建双维度分类并系统性基准评测100+优化器
📌 工作参考价值（4 点）
- 训练推荐模型（如CTR、CVR预估、多任务学习）时，可根据双维度分类快速筛选优化器：若追求收敛速度与泛化，可优先考虑AdamW；若显存受限，可尝试Lion或分布式优化器。
- LMO统一框架帮助理解不同优化器的几何含义，方便在自研推荐模型时针对稀疏特征（如embedding）或稠密参数设计混合优化策略。
- 基准结果显示多数优化器只在少数目标上占优，建议在实际业务中根据优化目标（稳定性、超参鲁棒性、计算开销）组织小规模预实验，避免盲目跟风新方法。
- 论文提供了108个优化器的代码库和Hugging Face集成，可直接用于推荐模型的训练加速和对比实验。
基于模型辅助采样的随机梯度优化
🧭 训练优化 · 梯度估计方差削减
University of Turku, Department of Computing
将调查抽样中的模型辅助估计引入小批量梯度计算，构造更低方差的梯度估计器，可无缝嵌入现有优化器
📌 工作参考价值（4 点）
- 训练推荐模型（如 CTR/CVR 预估）时，可用该方法替代默认的均匀小批量采样，降低梯度方差，加速收敛，尤其适于中等维度特征空间场景。
- 与 AdamW 等带动量的优化器组合时，能在约一半训练轮次达到同等或更好泛化，适合大规模工业模型缩短训练周期。
- 实现简单：只需在数据加载器中替换采样逻辑，并维护一个轻量辅助模型（如一个小型预测网络），不改变优化器内部更新规则，工程侵入性低。
- 可借鉴其“辅助信息”思路：在搜索/推荐系统中，利用曝光偏差、用户活跃度等先验知识构建采样权重，进一步降低在线学习中的梯度估计误差。
优化迭代平均语言模型：面向返回模型的训练改进
🧭 迭代平均感知的自适应优化器设计
Columbia University
提出PACE优化器，通过将在线权重拉向指数移动平均，提升最终返回的EMA模型性能
📌 工作参考价值（4 点）
- 直接替换AdamW：PACE是一个即插即用的AdamW封装，仅增加两个额外超参数（控制强度和削波系数），在SFT和预训练场景下对学习率、衰减策略等设定鲁棒，可以快速验证于自己的LLM微调流水线。
- 配合EMA评估提升生成式推荐模型效果：在生成式推荐（如Semantic ID生成）或对话Agent的LLM微调时，常返回EMA模型作为最终发布模型。PACE主动让优化过程适应EMA，有望获得更好的泛化表现。
- 稳定训练，放宽学习率调参约束：论文显示PACE允许使用更高学习率或更有限的学习率衰减，从而可能减少调参开销并加速收敛，适合需要快速迭代的业务场景（如大促期间的模型更新）。
- 关注优化器与模型平均的协同：无论使用EMA还是Polyak平均，此工作提醒我们可以针对返回的平均形式反向设计优化器，这是一种可迁移到其他平均策略（如SWA）的设计思路。
Complete-muE：面向MoE模型的最优超参数迁移与缩放
🧭 MoE 超参数迁移 · dense-to-MoE 迁移
Adobe Research
提出 Complete-muE 双桥框架，实现从密集 FFN 到任意 MoE 配置的超参数零成本迁移，实现“调参密集一次，迁移所有 MoE”。
📌 工作参考价值（4 点）
- MoE 推荐模型快速冷启动：在电商推荐系统中采用 MoE 结构时，可先用小规模密集模型调优超参数，再通过 Complete-muE 规则直接迁移到各类 MoE 配置（多专家、稀疏度、共享专家等），省去高昂的超参搜索成本。
- Agent 多智体路由的超参数复用：多智能体系统中的路由网络若设计为 MoE，可从单智能体密集策略网络迁移学习率和初始化，加速 MoE 路由策略的收敛。
- 生成式推荐的 MoE 架构探索：在生成式推荐（例如使用 transformer 生成行为序列）中，可先将模型设计为密集 FFN 调参，随后灵活扩展为 MoE 并迁移超参数，无需重新搜索。
- AdamW 超参统一缩放规则：文中的完整 μE 规则（宽度和专家数缩放下的 LR、WD、初始化方差调整）可直接嵌入训练框架，在模型放大或改变专家数时自动调整超参，提升工程效率。
纠正预条件语言模型优化器中的随机更新偏差
🧭 预条件优化器偏差校正 ★ 深度解读
Fastino Labs
通过微批次交叉拟合与Delta方法逆修正，消除梯度-预条件子耦合和逆预条件有限样本偏差，提升AdamW、Sophia、Shampoo预训练效果
📌 工作参考价值（5 点）
- 可用于生成式推荐/大模型训练中的优化器改进：当使用AdamW、Sophia、Shampoo等自适应优化器时，将批次拆分为独立子批，分别估计梯度和预条件子，可移除耦合偏差；同时利用子批方差对逆预条件子做泰勒/Jackknife校正，降低逆运算的非线性偏差。代码级实现只需对现有优化器做包装（Algorithm 1），无需改动模型。
- 在噪声较大、预条件子估计不稳定的场景（如小批量、低EMA系数）效果更明显：电商推荐模型中若使用对角二阶矩（AdamW）或曲率估计（Sophia），可借鉴本文的Delta方法逆校正，公式为 \(\tilde{T}(\bar{p}_k) = 1/(\bar{p}_k + \lambda) - \widehat{\text{Var}}(\bar{p}_k)/(\bar{p}_k + \lambda)^3\)，仅需维护子批方差，计算开销极小。
- 矩阵预条件子（如Shampoo）的校正可在特征基下进行：对于推荐系统中可能的矩阵预条件（如K-FAC），可利用平均预条件子的特征分解，将每个子批投影到该基下，对特征值逐元素校正。避免反复特征分解，工程上可行。
- 在Agent多智体训练中，若每个Agent的本地更新可视为微批次，可利用方差校正来提升全局聚合的稳定性：将各Agent本地计算的预条件子统计量视为独立子批，使用Jackknife或方差校正再聚合，降低系统估计偏差，可能提升收敛速度和最终策略质量。
- 注意拆分方式要保留原优化器的分母规模：实验显示两折拆分（各用一半数据）会因分母样本减半而增大方差，推荐使用留一法（LOO）构造分母，保持分母接近全批量规模，从而在移除耦合的同时不显著增加噪声。
量化超参数迁移与嵌入层学习率的重要性
🧭 训练超参数迁移与μP
揭示μP优于标准参数化的关键在于嵌入层学习率，提出三指标量化超参数迁移质量
📌 工作参考价值（4 点）
- 在 AdamW 训练中，若不想完整迁移到 μP，可直接将嵌入层学习率相对于隐藏层放大（例如按宽度比例），即可获得类似 μP 的训练稳定性和超参数迁移效果，对推荐模型中的大嵌入表尤其适用。
- 评估超参数迁移时，可使用文中提出的三个指标：缩放律拟合优度、外推误差鲁棒性、参数化带来的渐近损失惩罚，为自己的 scaling 策略建立量化基准。
- 固定 tokens/参数比时，慎用权重衰减：虽能改善缩放律拟合，但会降低外推鲁棒性，可能需在 loss landscape 平滑性与迁移可靠性间权衡。
- 发现嵌入层学习率瓶颈后，可针对性地在混合精度训练或分层学习率设置中，为嵌入参数分配更高学习率，避免训练初期的不稳定。