#optimization

6 篇

Your LR Schedule May Not Be Principled: Effective Learning Rate Scheduling in Weight-Normalized Training

你的学习率调度可能并不合理：权重归一化训练中的有效学习率调度

🧭 大模型预训练优化 · Effective LR

ByteDance Seed · Peking University

证明 WN 训练增益主要来自有效学习率轨迹，提出 AIR 调度，在 128B MoE 预训练上比 cosine 降损约 0.01

📌 工作参考价值（4 点）

若你在 LLM4Rec / 生成式推荐模型预训练中采用 weight normalization 或固定范数约束，应把 LR schedule 设计对象从 nominal LR 切换到 effective LR，否则会错失 WN 的降损收益。
工程上可直接用 AIR 替代 cosine：用 affine 修正 1/√t 衰减以匹配预设 peak/terminal LR，在 128B MoE 实验中比 cosine 的 terminal training loss 低约 0.01，且超参鲁棒性更好，适合线上预训练 pipeline 快速替换。
在优化器或训练约束切换（如 WN ↔ WD）时，保持相同 ELR 轨迹可复现训练动态，便于做 infra 对齐和消融实验，减少重新调参成本。
优先优化 late-stage LR schedule：早期 LR 选择对最终损失影响较弱，晚期 ELR 调度是主要收益来源；调参资源应集中在后期 schedule 上。

Training | 2026-10-28 | HF Daily | score 7/10

When Does Momentum Help in Reinforcement Learning with Verifiable Rewards?

可验证奖励强化学习中动量何时有效

🧭 LLM 强化学习优化器动量策略 ★ 深度解读

Peking University · Shanghai Jiao Tong University · SIMIS · Stanford University

证明 RLVR 中固定动量增益会被采样噪声淹没，需随学习率放大 β 才能稳定获益

📌 工作参考价值（3 点）

在 RLVR/GRPO 类 LLM post-training 里，AdamW 的 β1 别只留默认 0.9；可以尝试 β1=1-1e-6 甚至 1-1e-9，同时观察 reward/准确率是否稳定提升。
如果想降学习率换取更稳训练，应同步放大 β，使 η/(1-β) 维持在安全区间，避免固定 β 导致动量增益被采样噪声淹没。
做带采样奖励的在线策略优化（如 Agent 任务、推荐/广告的 policy gradient）时，若发现 momentum 无效，先别否定动量，检查 lr 与 β 的比值是否过小；用少数 seed 很难区分固定 β 和 no-EMA，建议多 seed 或看 SNR。

Training | 2026-10-14 | stat.ML | score 8/10

RLVR momentum EMA AdamW GRPO optimization

Randomized Momentum Transport with Cheap Predictors

随机动量传输与廉价预测器

🧭 训练优化 · 随机动量传输

Machine Learning and Optimization Laboratory (MLO), EPFL

提出随机化动量传输，以概率 q 评估梯度修正并用廉价预测替代，在保持 O(T^-1/3) 收敛下显著降低 oracle 调用成本

📌 工作参考价值（4 点）

在大模型/推荐模型训练中，二阶动量或梯度修正（如 HVP）计算昂贵，可借鉴随机化加权估计：以概率 q 触发精确修正，其余步用廉价预测（如在线对角预测器），用重要性权重保持条件均值。
若采用 STORM 类优化器，当梯度差噪声模大于光滑常数时，设置 q<1 反而降低收敛首项系数（最多约 10%），可提供调节 q 的理论依据，降低训练成本同时性能不降。
实验表明同等 oracle 预算下，q=1/4 的随机修正降低训练 loss 18-43%，提升 CIFAR-10 HVP 精度 1.5 点；在电商大模型训练中可先在小任务上验证并调整 q，减少 GPU/TPU 前向与通信开销。
在线对角预测器有 regret-to-convergence 保证，适合线上实时训练推荐模型的连续更新场景。

Training | 2026-10-09 | cs.LG | score 7/10

optimization momentum variance reduction randomized transport training efficiency STORM

LLMs Can Design Near-Optimal OR Algorithms

LLM 能设计近最优运筹优化算法

🧭 LLM 算法设计 · 运筹优化

未微调的 frontier LLM 在库存、排队网络、品类优化上生成算法，匹配或超过现有专用方法

📌 工作参考价值（4 点）

在电商/广告中，品类优化（assortment）、库存分配、预算 pacing、实时请求路由等定义清晰的约束优化问题，可快速用 frontier LLM + Python sandbox 生成策略算法作为 baseline，再与手写规则或求解器对比；固定 compute budget 可控制线上可行性。
优先采用 Level 2 方式：让 LLM 只根据问题类描述和参数范围输出「参数→决策」的算法函数，而不是逐实例求解；这样得到的策略可直接部署到实时系统，并在未见参数上做离线评估。
Prompt 无需复杂调优：简单描述问题、目标、约束和可用工具，LLM 即可写出可执行代码；这对快速原型验证、A/B 测试前的候选策略生成很实用。
注意：该方法适用于目标函数和约束都能明确写出的优化场景；对依赖隐式反馈或需要从数据中学习的推荐排序任务，LLM 生成算法可能只能解决局部优化子问题，仍需与 ML 模型结合。

LLM | 2026-08-27 | cs.LG | score 7/10

LLM algorithm design operations research code generation optimization sandbox

From Approximation to Emergence: A Theory of Deep Learning

从近似到涌现：深度学习理论统一框架

🧭 深度学习理论统一框架

Sun Yat-sen University

系统梳理深度学习理论，从经典近似、优化、泛化到现代涌现现象，构建统一研究叙事

📌 工作参考价值（4 点）

本书为纯理论综述，业务可借鉴点有限。
关于 scaling laws 和 emergence 的理论分析可辅助理解大模型在推荐系统中的行为：随着模型规模和数据量增长，性能可能出现跃升，指导资源投入策略。
泛化与鲁棒性理论可应用于推荐模型的离线评估与线上风险控制，尤其面对分布偏移时。
机制可解释性理论为推荐模型的特征重要性归因、内部行为诊断提供思想框架，有助于提升模型可信度。

Training | 2026-07-01 | stat.ML | score 6/10

deep learning theory approximation optimization generalization emergence scaling laws

Training for the Model You Return: Improving Optimization for Iterate-Averaged Language Models

优化迭代平均语言模型：面向返回模型的训练改进

🧭 迭代平均感知的自适应优化器设计

Columbia University

提出PACE优化器，通过将在线权重拉向指数移动平均，提升最终返回的EMA模型性能

📌 工作参考价值（4 点）

直接替换AdamW：PACE是一个即插即用的AdamW封装，仅增加两个额外超参数（控制强度和削波系数），在SFT和预训练场景下对学习率、衰减策略等设定鲁棒，可以快速验证于自己的LLM微调流水线。
配合EMA评估提升生成式推荐模型效果：在生成式推荐（如Semantic ID生成）或对话Agent的LLM微调时，常返回EMA模型作为最终发布模型。PACE主动让优化过程适应EMA，有望获得更好的泛化表现。
稳定训练，放宽学习率调参约束：论文显示PACE允许使用更高学习率或更有限的学习率衰减，从而可能减少调参开销并加速收敛，适合需要快速迭代的业务场景（如大促期间的模型更新）。
关注优化器与模型平均的协同：无论使用EMA还是Polyak平均，此工作提醒我们可以针对返回的平均形式反向设计优化器，这是一种可迁移到其他平均策略（如SWA）的设计思路。

Training | 2026-06-23 | stat.ML | score 7/10

PACE exponential moving average AdamW LM fine-tuning pretraining optimization