Muon-RT：复用教师轨迹的无动量 Muon 用于 LLM 自蒸馏
🧭 LLM 自蒸馏优化器内存优化
IIT Kanpur · Amazon
复用 EMA 教师-学生位移替代 Muon 动量缓冲，在自蒸馏微调中省显存并提升准确率
📌 工作参考价值（4 点）
- 如果业务中已在用自蒸馏/EMA teacher 做 LLM 对齐（SDFT/SDPO），可去掉 hidden weight 矩阵的 Muon 动量 buffer，直接复用 teacher-student 位移；在 Qwen2.5-7B 上平均准确率比 AdamW 高 2.6 点，同时持久显存省 42%，适合 7B 级线上微调。
- Muon-RT 保留 Newton-Schulz 正交化，但对 teacher 位移做去径向分量 + spectral normalization，再与当前梯度混合；这种“复用历史更新方向去噪”的思路可迁移到推荐模型的大 embedding/MLP 权重优化，尤其是 LoRA/全参微调受显存限制时。
- 相比 momentum Muon 平均提升 5.4 点、持久显存少 27%；在 Olmo-3-7B SDPO 上比 AdamW 提升 2.0 点，说明策略优化/RL 自蒸馏场景也能作为 AdamW 替代。
- 注意边界：收益依赖局部模型、正则与对齐假设，且主要针对 hidden weight 矩阵；建议先在小规模微调中验证内存与收敛，再在推荐/搜索 LLM 训练中推广。
MuonGS：放宽权重范数控制的LLM预训练优化器
🧭 优化器训练 · 权重范数控制
University of Minnesota
用Gram-Schmidt移除Muon更新径向分量，权重范数最多√t增长，长期困惑度更低并加速LLM预训练约15%
📌 工作参考价值（4 点）
- 训练电商/广告域的大模型（CTR、NLP、多模态等）时，可尝试用 MuonGS 替代 AdamW 或 MuonH，尤其在长训练 horizon 下：MuonGS 不固定权重范数，省去严格范数约束的超参调优，同时保持后期有效学习率，可能降低最终损失。
- 把累积有效学习率 C_T = Ση_t/||W_t||_F 作为监控指标：如果训练后期 C_T 增长明显放缓（对数增长），说明有效学习率相对权重范数过小，可考虑放松范数控制、调整学习率或改用 MuonGS 类方法。
- 对推荐模型中的矩阵参数，Muon 类优化器可直接作用于 2D 权重；但 embedding 表通常是高维稀疏结构，需先验证 Gram-Schmidt 投影在混合参数上的工程开销，建议小规模预训练对比后再推广。
- 结论上，权重范数不必严格固定，允许其以 √t 增长可维持长期有效学习率，这一原则可用于指导自定义优化器或学习率调度。
长程强化学习需要 Muon 优化器
🧭 Agent RL 优化器与训练 recipe ★ 深度解读
Renmin University of China · Duke University · Institute of Automation, Chinese Academy of Sciences · Institute of Computing Technology, Chinese Academy of Sciences
在仓库级 issue 修复的异步 RL 中，Muon 配合单 rollout、TIS 与奖励塑形显著提升训练成功率
📌 工作参考价值（4 点）
- 训练多轮交互 Agent（对话式推荐、商品搜索助手）时，可尝试隐藏权重矩阵换用 Muon，其余 embedding/output head/norm/vector 保持 AdamW；稀疏奖励长轨迹任务中 Muon 的谱范数约束可能带来更稳更新，但需监控 collapse，Adam 与 Muon 差距会受 recipe 影响。
- 线上已有旧策略产生的轨迹时，可复用单 rollout 异步训练 + 截断重要性采样：按 token 计算 π_train_old / π_rollout 比值并截断到 [0,2]，再加权 PPO loss；不必等待同 issue 多条轨迹，适合电商 Agent 环境异步执行时策略滞后场景。
- 对过长回复、无效工具调用加负奖励，但建议将单独或组合 penalty clip 到 [−0.25,0.25] 再加到 advantage 并标准化，避免惩罚过重破坏策略；长度惩罚在最终回合可省略。
- Ablation 显示 length penalty 影响大、tool-error penalty 影响相对较小且不一定稳定；不要盲目堆 penalty，先做单组件实验。
TACO：面向 LLM 微调的三值绝对最大列单稀疏优化器
🧭 LLM 全参微调内存优化器
University of Central Florida · Mohammed VI Polytechnic University
用每列最大梯度符号的稀疏更新替代 AdamW 状态，优化器状态降 174 倍，单卡 H100 可全参微调 30-32B 模型
📌 工作参考价值（4 点）
- 在需要全参微调 LLM 的业务（生成式推荐、Agent 策略模型、query/文案生成）中，可用 TACO 替代 AdamW/AdamW8bit，显著降低优化器状态和峰值显存；据论文 OPT-13B 上优化器状态 27.7GB→0.16GB，峰值显存 80.6GB→27.5GB。
- 适合继续微调已用 AdamW 预训练或 SFT 过的模型：TACO 保留一阶梯度更新几何，可减少切换优化器带来的掉点，而 Muon 在 AdamW-pretrained 模型上可能退化。
- 工程落地可按层拆分：对二维权重矩阵使用 TACO，对 embedding/head 等使用 AdamW 或低内存方案；只存储每列绝对值最大梯度的符号及少量低精度分量，避免动量和二阶矩。
- 单卡 80GB H100 能全参微调 30-32B 模型，降低硬件门槛，适合资源受限团队在推荐搜索场景中训练 LLM。
ZGCM-1：面向数学与智能体搜索的全开源高效基础模型
🧭 高效训练 · Agentic Search ★ 深度解读
Zhongguancun Academy · Zhongguancun Institute of Artificial Intelligence
全开源 7B 模型，靠混合注意力、FP8/Muon 与 MDP 中训，在数学和 Agentic Search 上逼近大模型
📌 工作参考价值（5 点）
- 混合注意力 5:1 SWA/global 可在 256K 上下文将 KV cache 降 6.4x、吞吐提升 3.94x：适合电商多轮对话、长用户行为序列或长文档检索场景，用 7B 级模型支撑长上下文 Agent 而不过度消耗显存。
- 把交互轨迹改写为 MDP 状态-动作对做稠密监督，比整段模仿学习更利于训练 Agent 在搜索/推荐中做局部决策（如何时调用搜索、扩展 query、停止迭代）；可直接复用到电商导购 Agent 的工具调用数据构造。
- FP8+Muon+TWEO 组合实现约 4.2x pre-training time-to-loss，内部迭代模型可行；尤其 TWEO 抑制激活 outlier 是 FP8 稳定的关键，可在训练栈中尝试。
- SFT 数据质量裁剪：约剪掉一半候选，六基准均值 67.78→68.83，证明高质量数据胜于堆量；对电商话术/导购数据可借鉴严格去污和分层过滤。
- Agent 数据与 general 数据联合训练优于先 general 后 agentic 或只 agentic：对话式购物助手不应只用领域轨迹，需保留通用指令遵循能力。
Qwen3.8-Next 架构设计：评估、效率与训练稳定性
🧭 大规模稀疏 MoE 架构与训练优化 ★ 深度解读
Qwen Team
稀疏 MoE 联合优化效果、效率与训练稳定性，在约 1/9 训练 FLOPs 下追平前代旗舰
📌 工作参考价值（4 点）
- 长序列用户行为建模/Agent 长期记忆：QSA 的压缩 lightweight indexer 在 micro-block 粒度打分，压缩比 r=4，索引成本从 O(n^2) 降到 O(n^2/r)，1M context 下 prefill 7.6×、decode 4.9× 加速，且短序列指标不退化。对电商历史行为序列、会话日志、Agent 记忆库读取等长上下文场景有直接借鉴价值。
- 外部容量扩展：n-gram embedding 表托管在 host memory 并异步预取，51B 参数几乎不增加 per-token FLOPs。推荐系统可借鉴其思路，将大规模 ID/属性交叉特征、低频但重要的记忆型特征放在 off-accelerator 表中，避免主模型算力膨胀；但要注意论文反复出现的结论——loss 单调下降不意味着下游指标同步提升，必须用业务指标单独验证。
- 训练稳定性与优化器：Muon 只用于 2D 线性映射权重，embedding/head/router/GR 低秩投影保留 AdamW；用 4× 最优学习率压力测试验证稳定性，提前暴露 spike 风险。大模型或大 embedding 模型训练时可复用该策略，减少对 qk-clip、SwiGLU-clip 等显式裁剪的依赖。
- 残差门控设计：GR 四分支 + elementwise 门控读取替代 pre-norm，去掉分支间 mixing 后既提升表达能力又减少显存流量。该思想可迁移到序列建模的残差路径；但论文也警示仅看 pre-training 指标会误判，sparse read 在后训练阶段退化就是反面案例。
优化器综述：矩阵感知方法与严格评估协议
🧭 训练优化器设计空间与评估协议
沿时间估计、更新几何、时间线管理、表示与系统四轴综述优化器，指出矩阵感知有效但无普适AdamW替代
📌 工作参考价值（4 点）
- 微调推荐/搜索排序大模型或训练生成式推荐模型时，AdamW仍是默认基准；若Transformer权重矩阵占比高，可对attention投影层、embedding层分组试验Muon/Shampoo等矩阵感知方法，但需控制调优预算，避免一次性全量替换。
- 工程上部署低精度训练或分片训练时，优化器状态量化会直接影响收敛与最终业务指标（如CTR AUC、NDCG），需在业务验证集上确认，不能只看训练loss。
- 面对小批量在线学习或流式更新场景，可尝试schedule-free或小批量校正方法，降低对学习率调度和batch size的敏感性，减少调参成本。
- 建立优化器评估协议：固定数据量、批量大小、参数分区、训练时长和硬件环境，同时报告tokens/s或samples/s、显存占用与最终业务指标，避免单维度对比得出误导性结论。
Dion3：Muon 优化器全栈正交更新加速
🧭 Muon 优化器全栈加速与分布式优化 ★ 深度解读
New York University · Princeton University · NVIDIA · Yale University · Microsoft Research
提出 Gram Newton-Schulz、对称 GEMM 核、分数行选择更新和 megabatching，将 Muon 优化器步时最多降低 6 倍且保持/提升模型质量
📌 工作参考价值（4 点）
- Gram Newton-Schulz 可作为标准 Newton-Schulz 的 drop-in 替换，在权重矩阵 aspect ratio 高（如 MLP/MoE 权重）时显著减少 FLOP，适合推荐/广告模型中常见的宽矩阵，无需改变训练流程。
- 分数行选择 + error feedback 是实用的加速技巧：每次只正交化动量矩阵中 ℓ1 范数最大的 f 行，学习率按 η/√f 缩放，在资源受限时可将优化器计算量降低约 1/f²，且不损害甚至轻微提升模型质量。
- Megabatching 策略对 FSDP 下的通信优化很有价值：按矩阵形状分组做 all-to-all，减少通信轮次至 O(1)，在中小模型通信瓶颈场景（如 1B 模型 8 卡）可降低 35% 优化器步时，值得工程实现借鉴。
- 自定义对称 GEMM 核（CuteDSL）利用对称性只计算下三角并复制到上三角，在 Hopper/Blackwell 上获得近 2× 速度，适合集成到训练框架中以加速大量对称矩阵乘法。
MALT：通过对角线预处理实现轻量级曲率感知的Muon优化器
🧭 Muon优化器的曲率感知对角线预处理 ★ 深度解读
The Pennsylvania State University · City University of Hong Kong
在Muon正交化前加入行/列对角预处理，以极小开销缓解曲率各向异性，配合噪声自适应步长显著提升LLM预训练性能
📌 工作参考价值（4 点）
- 在推荐模型的矩阵参数（如Embedding、MLP权重）上可直接替换Muon为MALT，在不增加显存和时间的前提下获得更优收敛，尤其适合需要降低训练成本的工业场景。
- 噪声自适应步长MALTER可稳定分布式推荐训练中常见的梯度噪声，避免手动调参，提升训练鲁棒性。
- 对角线预处理与正交化结合的思想可迁移到其他矩阵感知优化器（如Shampoo变体），为结构化参数提供轻量曲率适应。
- 对于曲率各向异性明显的Transformer层（如FFN或Attention投影），建议优先使用MALT，在保持Muon原有优势的同时进一步加速收敛。
Muon 何时对智能体强化学习有帮助？
🧭 智能体 RL 的优化器选择与联合调参
Renmin University of China · Institute of Computing Technology, Chinese Academy of Sciences · Duke University · Institute of Automation, Chinese Academy of Sciences · Zhejiang University
稀疏奖励智能体 RL 中，Muon 仅作用于隐藏矩阵，在低学习率下使成功率最高达 0.901，远超 AdamW
📌 工作参考价值（4 点）
- 在 LLM 驱动的智能体决策任务（如多轮对话推荐、搜索 Agent）中，可尝试用 Muon 替代 AdamW 进行 RL 微调，尤其只对 Transformer 隐藏权重矩阵应用，以避免全参数替换带来的灾难性遗忘。
- 低学习率（如 1e-5）是 Muon 发挥优势的关键，联合调整 advantage estimator 和优化器能显著提升策略学习效率，实现在线推荐场景下更早达到可用成功率。
- Muon 避免了元素级自适应状态，内存开销更低，适合需要在有限资源下进行实时策略更新的在线推荐系统。
- 目前是单 seed 探索，但的提升幅度（+88%~460%）值得在业务中做多 seed 消融实验，验证其在商品搜索、内容推荐等稀疏奖励任务中的稳定性。
一步梯度延迟并非大规模异步流水线并行LLM预训练障碍
🧭 异步流水线并行训练与优化器鲁棒性
Institute of Science and Technology Austria (ISTA) · Yandex · Basic Research of Artificial Intelligence Laboratory (BRAIn Lab) · Innopolis University · Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)
证明异步流水线并行中的一步延迟下优化器选择决定稳定性，Muon比AdamW鲁棒，结合误差反馈校正可匹敌同步训练
📌 工作参考价值（4 点）
- 训练LLM时可采用 PipeDream-2BW 异步流水线并行消除GPU空闲，大幅提升吞吐；配合 Muon 优化器可避免一步延迟导致的严峻性能下降，无需担心稳定性。
- 若必须使用 AdamW 等对延迟敏感的优化器，可引入论文提出的 Error Feedback 校正模块，作为一种轻量级的、优化器无关的延迟补偿机制，抑制梯度陈旧影响。
- 在搜索推荐领域自研大规模模型（如生成式推荐模型）时，可借鉴该结论：分布式流水线并行不必局限于同步方案，异步+Muon 组合可能成为资源利用率和模型质量的更好解。
- 对于需要快速迭代实验的团队，异步并行带来的高吞吐可直接加速模型训练，结合 Muon 的鲁棒性，有望在保持模型效果的同时缩短研发周期。
Muon优化器的重尾噪声理论：为何非欧几里得方法在训练Transformer时更优
🧭 优化算法理论 · 非欧几里得优化
ETH Zurich · Technical University of Munich · Munich Center for Machine Learning
证明Muon在重尾噪声下能以最优样本复杂度达到核范数平稳点，且无需额外维度依赖
📌 工作参考价值（4 点）
- 训练深度推荐模型（如Transformer-based CTR预估）时，可尝试用Muon替换AdamW，尤其适用于大矩阵参数（如Embedding层、注意力投影层）；其更新基于谱范数，可避免维度依赖的样本复杂度膨胀。
- 在重尾噪声环境下（如点击、转化数据的长尾分布梯度），Muon理论上能稳定收敛，工程上可优先考虑非欧几里得优化器。
- 文章指出除谱范数外的其他Schatten范数也具竞争力，可启发尝试新正则化或约束（如核范数、Frobenius范数组合）来提升模型训练稳健性。
- 理论结果提示：优化器的选择需与平稳性度量相匹配；若业务中更关注核范数意义上的收敛，Muon类方法有理论保障，可指导自定义优化器的设计。
为什么 Muon 优于 Adam：曲率视角
🧭 优化器比较 · 曲率与 NDS
National University of Singapore · Yale University · University of Minnesota
Muon 因更低的标准化方向锐度 (NDS) 实现更小的二阶曲率惩罚，从而获得更大的一步损失下降。
📌 工作参考价值（4 点）
- 在大规模推荐或 Agent 模型训练中，可尝试用 Muon 替代 Adam，尤其在数据长尾分布下，Muon 可能带来更快的收敛和更好的泛化。
- 关注 NDS 作为优化器选择的度量：优先选用在训练后段 NDS 更低的优化器，这可能意味着更平滑的收敛和更小的曲率惩罚。
- Muon 的频谱归一化思想可迁移到其他自适应优化器中：通过显式约束更新矩阵的奇异值能量分布，避免梯度对齐高曲率方向导致的优化震荡。
- 数据不平衡（如电商用户行为幂率分布）会放大 Muon 的优势，可据此设计自动优化器选取策略：当数据偏度超过阈值时切换至 Muon 类优化器。
重新思考Muon：在VLA与RLVR中引入高通滤波解决频谱失效
🧭 训练优化器设计：高通频谱滤波
Michigan State University · Cisco · University of Minnesota · IBM Research
提出Pion优化器，用高通频谱滤波替代Muon的均匀白化，解决VLA低秩噪声放大和RLVR不稳定问题
📌 工作参考价值（4 点）
- 在电商推荐模型的RLHF/RLVR微调中，若使用类似Muon的优化器，需警惕低信噪比梯度导致崩溃，可改用Pion或保守选择AdamW。
- 多任务或多头推荐模型中，per-head独立更新（通过reshape实现）能保留不同商品类目或用户群体的头部特异性，避免均匀白化破坏已学的差异性。
- 在梯度噪声大、存在低秩组件的场景（如冷启动、稀疏特征），高通滤波思路可直接用于动量或梯度修正，抑制尾部方向噪声。
- 预训练有效的优化器（如Muon）在微调/RL阶段可能失效，需根据梯度频谱特性做适配，Pion为这种迁移提供了低成本替换方案。
DynMuon：动态频谱塑形优化器
🧭 动态频谱塑形优化 · Muon改进 ★ 深度解读
University of Wisconsin–Madison · MIT · Elorian AI
动态调度Muon类矩阵更新的频谱指数p从正到负，早期聚焦高曲率方向，后期转向平坦方向，实现更优收敛
📌 工作参考价值（4 点）
- 动态频谱调度可迁移：在训练推荐模型（如CTR预估、Embedding矩阵）的矩阵参数时，可引入类似DynMuon的阶段式频谱调整，前期用高曲率方向加速信号衰减，后期转向平坦方向捕捉剩余信号，避免固定谱变换的次优性。
- 高效近似实现：利用Newton–Schulz迭代+二阶泰勒展开近似任意p的UΣ^pV^T更新，额外计算成本仅比Muon增加0.3%~2.5%，可即插即用地嵌入现有AdamW/Muon框架，适合大规模电商模型训练。
- 噪声感知的调度设计思路：通过曲率方向上的信号-噪声分解（如本文的mode-wise分析），可诊断训练中各子空间的优化状态，指导自适应调度，例如在Agent多智体协作训练中动态分配参数更新强度。
- 简单的logistic调度策略：p从1平滑降至-0.25，仅需两个超参数（τ, w），鲁棒性强，无需在线估计曲率，可直接作为默认配置，为其他动态优化器设计提供参考。