重新思考现代 MoE 路由探索：MirrorMoE
🧭 MoE 预训练路由探索优化 ★ 深度解读
ETH Zurich · The University of Hong Kong · Max Planck Institute for Intelligent Systems · WU Vienna
MirrorMoE 通过 token 自适应抑制低概率路由专家缩小探索空间，解决细粒度共享专家 MoE 的探索困境并稳定涨点
📌 工作参考价值（4 点）
- 若服务链路使用 DeepSeek/Qwen3 等 MoE 基座做 embedding、生成式推荐或 Agent 策略，当启用或调大 fine-grained top-k 时，不要假设 shared experts 一定带来收益；可先做单 expert 消融或随机路由诊断，确认 shared experts 是否主导输出并压制路由探索。
- 训练阶段可采用 MirrorMoE 式“选择分布与聚合分布分离”：用镜像 logits 选专家，用原始 logits 权重聚合，再把 rho 从 0.4 cosine 退火到 0；工程实现只需额外一次 softmax 和符号翻转，训练成本几乎不增。
- 负载均衡 loss 应加在实际贡献概率 xi 上，而不是选择概率 p 上；当低权重专家被激活但几乎不贡献时，这种设计能避免均衡目标误导路由，可迁移到多兴趣/多任务 MoE 推荐模型。
- 若模型不含 shared experts，MirrorMoE 提升有限；不要盲目上该 trick，应优先用于 shared-expert + 较大 K 的配置，并在增大 K 时重点观察是否出现“K 涨指标不涨甚至下降”的探索困境。
预训练中量化注意力 Softmax：校准与直通梯度设计的影响
🧭 低精度注意力 Softmax 训练 ★ 深度解读
University of Illinois Urbana-Champaign
系统研究量化 softmax 前向与反向规则对预训练稳定性的影响，给出可复现的设计选择
📌 工作参考价值（4 点）
- 工业推荐/Agent 里若对 Transformer 做 QAT 或量化 softmax 部署，不要用 .detach() 隔离 calibration 统计量（row max/min）；必须让 row extrema 反向传播，否则训练前 25-30M tokens 看似正常，之后 loss 突然恶化，末尾可差 0.65-3.07 nats。零和投影不能修复。
- 做 hard rounding 量化时，优先 Prob-STE（在归一化后概率上放 STE），或校准从 MinMax 换成 fixed window to max（FWM）。在 K=4、124M/2.5B tokens 下 MinMax+Weight-STE 差 softmax 0.89 nats，而 FWM+Prob-STE 只差 0.019；K=16 时 FWM+Weight-STE 差 0.004。
- 如果允许可微实现，优先 LERP（分段线性插值）而非 Nearest hard rounding；K=4/16/32 在 2.5B tokens 都能收敛到 softmax 0.005 nats 以内。
- 评估时必须用训练时的 native forward；训练后替换成 exact softmax 会使 gap 扩大，LERP K=2 从 +0.005 跳到 +1.814 nats，说明权重已经依赖训练算子。
弃权与噪声过滤：Softmax 注意力的两个缺失原语
🧭 注意力机制原语 · 模型训练改进
St. John Fisher University
显式加入弃权(sink logit)与值门控噪声过滤，两者结合在10M-350M匹配模型中均优于softmax基线
📌 工作参考价值（4 点）
- 若在电商搜索/推荐中自研或微调 Transformer 排序模型（如 LLM4Rec、行为序列建模），可直接在 attention 中加入 per-head sink logit 实现 abstention，几乎零参数且兼容 KV cache，适合长序列中忽略无关历史行为。
- 在用户行为序列包含大量噪声（点击噪声、误触、跨域行为）时，对 value 侧加可学习 gate 过滤 residual stream 中的叠加特征干扰；模型规模越大，该噪声过滤收益越明显，10M→350M 趋势提示大规模 CTR/CVR 模型优先考虑 value gating。
- 两种原语有互补盲区，建议同时加入而非只选一种；在 Agent 多步推理或 RAG 检索上下文拼接时，attention 可能被迫把注意力质量分配给无关 token，sink logit 可以让头显式弃权，减少错误信息聚合。
- 若用 LoRA 微调已有 LLM 推荐/Agent 模型，这些改动不增加缓存开销，可作为结构正则化 trick 加在 attention 子层，注意 warmup 和初始门控设置。
UE5M3 FP4 块缩放实现稳定语言模型预训练
🧭 FP4 低精度预训练 · E5M3 block scaling
Graphcore Research
用 E5M3 块缩放替代 RHT 与 BF16 末层豁免，更简单的 FP4 预训练配方，8B 模型 190B tokens 表现优于 NVFP4
📌 工作参考价值（4 点）
- 若团队有自研 LLM 或大规模召回/广告模型持续预训练，可尝试 UE5M3 block scale 代替 RHT：用更宽标度范围减少额外矩阵变换，简化 FP4 训练管线。
- 选择性 stochastic rounding 只作用于 backward gradients，可作为低比特训练/微调 trick 保留优化信号，适合资源受限的广告/内容模型训练。
- 移除 BF16 末层豁免，所有 eligible internal linears 用 FP4，实测吞吐 +21.2%；在做 FP4/NVFP4 推理或训练部署时可以直接复现这个算子策略。
- 若在实时推荐/Agent 中需要 FP4 量化 LLM serving，考虑软件模拟 UE5M3 块缩放，可能降低 pre-processing 延迟并提升 quantized-inference 精度。
语言模型预训练中任务无关训练数据影响度量
🧭 训练数据影响分析 · 预训练动态
Nara Institute of Science and Technology · NII LLMC · Waseda University · The University of Tokyo · IT University of Copenhagen
提出一种无需下游任务或验证集的训练数据影响度量，通过梯度更新对最终参数距离的缩减来估计样本贡献
📌 工作参考价值（4 点）
- 在大规模预训练或微调中，可借鉴该任务无关的影响度量：不需要人工定义验证集，只需利用中间checkpoint和最终参数的梯度投影，即可对每个训练样本的重要性打分，适合数据清洗和异常样本排查。
- 发现的影响数据时序变化（早期文学类数据、后期STEM数据）提示课程学习策略：在推荐或Agent模型的预训练阶段，可以按数据域动态调整采样权重，初期侧重通用/文本类数据，后期逐步引入垂直领域或结构化数据。
- 该方法只需存储中间checkpoint，计算成本低，且无需重新训练，适合工程实现中定期对训练语料进行影响审计，为数据版本管理和数据溯源提供量化依据。
- 在生成式推荐或LLM4Rec场景中，可以利用此思路分析哪些训练样本对最终推荐生成能力贡献最大，辅助构建高质量指令微调数据集。
理解推理：从预训练到后训练
🧭 LLM推理的预训练-RL缩放与行为分析
New York University · Modal Labs · University of California, Los Angeles · University of Illinois Urbana-Champaign · Columbia University
以国际象棋为受控实验，揭示预训练损失可预测RL后性能，RL在困难任务中涌现新推理能力
📌 工作参考价值（4 点）
- 预训练损失是RL后性能的强预测指标：在推荐或Agent任务中，可先通过预训练损失筛选有潜力的模型/数据配置，降低RL实验成本。
- RL并非仅锐化SFT策略：在困难样本上能涌现SFT未覆盖的正确行为，提示在生成式推荐或Agent决策中，RL可能探索出更优的item/动作空间。
- RL提升斜率与预训练数据量近似线性关系，预训练投入对下游RL收益有直接放大效应，为「先大力预训练，再轻量RL」的工程路径提供依据。
- 使用棋类等可控环境作为测试平台，思路可复用于推荐系统离线模拟：设计规则明确、奖励可验证的推荐游戏，研究LLM推理行为。
优化迭代平均语言模型：面向返回模型的训练改进
🧭 迭代平均感知的自适应优化器设计
Columbia University
提出PACE优化器，通过将在线权重拉向指数移动平均，提升最终返回的EMA模型性能
📌 工作参考价值（4 点）
- 直接替换AdamW：PACE是一个即插即用的AdamW封装，仅增加两个额外超参数（控制强度和削波系数），在SFT和预训练场景下对学习率、衰减策略等设定鲁棒，可以快速验证于自己的LLM微调流水线。
- 配合EMA评估提升生成式推荐模型效果：在生成式推荐（如Semantic ID生成）或对话Agent的LLM微调时，常返回EMA模型作为最终发布模型。PACE主动让优化过程适应EMA，有望获得更好的泛化表现。
- 稳定训练，放宽学习率调参约束：论文显示PACE允许使用更高学习率或更有限的学习率衰减，从而可能减少调参开销并加速收敛，适合需要快速迭代的业务场景（如大促期间的模型更新）。
- 关注优化器与模型平均的协同：无论使用EMA还是Polyak平均，此工作提醒我们可以针对返回的平均形式反向设计优化器，这是一种可迁移到其他平均策略（如SWA）的设计思路。
解密数据受限下语言模型预训练的训练时数据增强
🧭 训练时增强 · 多轮训练正则化
UC San Diego · RMIT University · Bloomberg AI
系统研究三类训练时增强（token噪声、序列置换、目标偏移）缓解自回归模型在多轮数据训练时的严重过拟合
📌 工作参考价值（4 点）
- 当训练数据有限需反复遍历（如用户行为序列）时，可在自回归下一行为预测中引入随机 token 替换或 masking 作为增强，延迟过拟合，降低验证损失。
- 组合多种增强类别（如随机替换 + 序列逆序 + 偏移预测）能进一步降低最小验证 loss，可作为通用训练 trick 加入推荐模型的预训练或微调流程。
- 目标偏移预测（预测未来第 k 个 token）可迁移到用户长序列建模中，强制模型学习更长期的依赖，减轻短视过拟合。
- 该方法实现简单，不改变模型结构，适合在现有自回归推荐（如 SASRec 类）或 LLM-based 生成式推荐中快速实验。
无需递归的递归网络预训练方法 SMT
🧭 RNN 预训练 · 长程依赖优化
MIT
SMT 将 RNN 训练转化为有监督记忆转移学习，实现时间并行且梯度路径 O(1) 稳定训练长程依赖
📌 工作参考价值（4 点）
- 电商用户行为序列（点击、购买）建模可用 SMT 稳定训练长序列 RNN，缓解梯度问题，捕获更长期的兴趣演化。
- SMT 的时间并行训练特性可大幅加速大规模用户序列的 RNN 预训练，适合百万级序列场景。
- 解耦“记忆内容”与“更新规则”的设计可借鉴为记忆网络优化：使用一个独立模块（如 Transformer）预先压缩历史为预测性状态，再教 RNN 逐步更新。
- 若业务中已有 Transformer 模型，可将 SMT 视为一种离线知识蒸馏方案，将 Transformer 的长程能力注入 RNN 以提升在线推理效率。