#EMA - AI Papers Daily

When Does Momentum Help in Reinforcement Learning with Verifiable Rewards?

可验证奖励强化学习中动量何时有效

🧭 LLM 强化学习优化器动量策略 ★ 深度解读

Peking University · Shanghai Jiao Tong University · SIMIS · Stanford University

证明 RLVR 中固定动量增益会被采样噪声淹没，需随学习率放大 β 才能稳定获益

📌 工作参考价值（3 点）

在 RLVR/GRPO 类 LLM post-training 里，AdamW 的 β1 别只留默认 0.9；可以尝试 β1=1-1e-6 甚至 1-1e-9，同时观察 reward/准确率是否稳定提升。
如果想降学习率换取更稳训练，应同步放大 β，使 η/(1-β) 维持在安全区间，避免固定 β 导致动量增益被采样噪声淹没。
做带采样奖励的在线策略优化（如 Agent 任务、推荐/广告的 policy gradient）时，若发现 momentum 无效，先别否定动量，检查 lr 与 β 的比值是否过小；用少数 seed 很难区分固定 β 和 no-EMA，建议多 seed 或看 SNR。

Training | 2026-10-14 | stat.ML | score 8/10

ϕ-均衡：面向混合专家训练的凸对偶负载均衡框架

🧭 MoE 训练 · 负载均衡 ★ 深度解读

University of Texas at Austin · Northwestern University

利用严格凸势函数与镜面下降，将 MoE 负载均衡从启发式 batch 统计提升为人口级凸优化，仅需 EMA 跟踪路由概率即实现更稳定均衡与专家专业化

📌 工作参考价值（4 点）

用 EMA 替代 batch 统计，消除负载均衡偏差：在电商推荐或 Agent 系统的 MoE 层中，可直接将 ST-MoE 损失中的 batch 频率 f_e 替换为 EMA 路由概率经镜面映射 ∇ϕ(m) 的加权，实现全局均衡，避免因小批次造成的不均匀分配，对长尾流量和冷启动专家更友好。
负熵势函数是简单有效的默认选择：实验证明负熵作为 ϕ 在各种规模与粒度下均最优，实现简单（L_aux = Σ p_e * (log m_e + 1)），且对 EMA 衰减率鲁棒（推荐 0.6–0.7），可直接替换现有负载均衡损失而无需额外调参。
促进专家专业化，适配多域推荐：ϕ-均衡允许路由根据全局分布动态分配专家，使不同专家自然专注于不同商品类目或行为模式，适合电商多场景联合建模（如搜索、推荐、广告），可尝试冻结部分专家实现领域隔离。
工程开销极小，易于集成：仅需在每个 MoE 层维护一份 EMA 向量并增加一步 stop_gradient 的 ∇ϕ 计算，额外算力可忽略，适合大规模分布式训练，能够无缝融入现有 DeepSpeed-MoE 等框架。

Training | 2026-05-14 | stat.ML | score 8/10