#FP4

4 篇

TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models

Rollout 引导的 MoE LLM 强化学习 FP4 量化感知训练框架

🧭 低精度 rollout 加速 MoE LLM 强化学习训练

Alibaba Token Hub, Alibaba Group · Ohio State University

提出 TRACE，通过 rollout 侧量化结果引导训练侧 FP4 舍入，实现 FP4 rollout 与 BF16 性能相当并最高加速 5.4 倍

📌 工作参考价值（4 点）

在 RL 调 LLM 推荐/搜索 Agent 或生成式 ranker 时，rollout 阶段是主要算力瓶颈，可尝试 FP4 权重/激活 + FP4 KV cache 联合做 rollout；TRACE 表明可与 BF16 rollout 获得相近的最终策略质量。
避免直接用离线 PTQ 量化 BF16 训练好的策略：把 rollout 侧实际量化噪声（舍入结果、scale）作为监督信号引入训练侧 QAT，能显著改善最终 FP4 策略性能，比事后量化更可靠。
工程上可借鉴 selective quantization-info caching：只缓存深层 mantissa/scale，降低多 GPU 或分布式 rollout worker 间的存储与通信开销，对 MoE 或超大 LLM 生成服务有直接参考。
低精度 rollout 最高 5.4 倍加速意味着相同算力下可大幅增加采样轨迹数量，适合需要大量探索的 query 推荐、对话式推荐 Agent 等 RL 训练场景。

Training | 2026-10-05 | HF Daily | score 7/10

硬件感知的 FP4 FlashAttention-4：全 FP4 前向推理与量化反向传播

🧭 Transformer 注意力 FP4 量化加速

Graphcore Research

Direct-P 将注意力分数直接映射为 FP4 概率，GB200 上前向吞吐达 BF16 的 2.13 倍，8B 模型训练更新加速 1.14 倍

📌 工作参考价值（4 点）

推荐/广告场景中大量使用 Transformer 处理用户行为序列，注意力算子是性能瓶颈；Direct-P 将 softmax 后的概率直接量化为 FP4，避免中间 FP32/FP16 转换，可显著提升在线推理吞吐、降低时延。
训练侧采用“前向量化 Q/K，反向重建概率并使用 FP8 梯度操作数”的混合精度方案，比直接使用 FP4 概率/值更稳定；实际部署时可借鉴该方案避免训练发散，同时获得 1.14 倍的 8B 模型更新加速。
若业务使用长序列注意力（如用户行为序列、会话建模），可评估 FP4 注意力对精度的影响；论文结果表明概率 FP4 量化在非因果推理下可行，但训练中 MXFP4 概率/值易发散，需谨慎验证。
工程实现上，可将注意力中间结果（概率矩阵）显式量化并落到片上存储，减少 HBM 读写，类似 FlashAttention 的 tiling 策略与 FP4 结合能榨取 Blackwell 张量核性能。

Training | 2026-09-03 | cs.LG | score 7/10

UE5M3 FP4 块缩放实现稳定语言模型预训练

🧭 FP4 低精度预训练 · E5M3 block scaling

Graphcore Research

用 E5M3 块缩放替代 RHT 与 BF16 末层豁免，更简单的 FP4 预训练配方，8B 模型 190B tokens 表现优于 NVFP4

📌 工作参考价值（4 点）

若团队有自研 LLM 或大规模召回/广告模型持续预训练，可尝试 UE5M3 block scale 代替 RHT：用更宽标度范围减少额外矩阵变换，简化 FP4 训练管线。
选择性 stochastic rounding 只作用于 backward gradients，可作为低比特训练/微调 trick 保留优化信号，适合资源受限的广告/内容模型训练。
移除 BF16 末层豁免，所有 eligible internal linears 用 FP4，实测吞吐 +21.2%；在做 FP4/NVFP4 推理或训练部署时可以直接复现这个算子策略。
若在实时推荐/Agent 中需要 FP4 量化 LLM serving，考虑软件模拟 UE5M3 块缩放，可能降低 pre-processing 延迟并提升 quantized-inference 精度。

Training | 2026-09-02 | cs.LG | score 7/10

重新思考LLM FP4预训练中的收缩偏置：几何根源与UFP4方案

🧭 低精度训练 · FP4均匀网格 ★ 深度解读

Ant Group

指出非均匀E2M1格式固有的收缩偏置被RHT放大导致训练不稳定，提出基于均匀E1M2网格与全RHT相结合的UFP4训练配方

📌 工作参考价值（4 点）

当对推荐模型做低比特量化或采用类似RHT的旋转预处理时，优先选用均匀网格（INT4/E1M2），因为非均匀格式（E2M1）的舍入偏置会在深层网络积累，而均匀网格不存在该问题。
若使用FP4训练LLM-based推荐模型，可借鉴UFP4的配方：将RHT扩展到前向、数据梯度、权重梯度三个GEMM，仅对dY使用随机舍入；该设计在1.5B~124B的实验中稳定降低了与BF16的loss差距。
收缩偏置是一个容易被忽视的几何缺陷：当量化区块不对称时，即使是零均值的分布也会产生系统性负误差，造成信号衰减；在自研或选用量化方案时，应检查舍入bin的对称性，而非只关注动态范围。
在只有E2M1硬件的场景下，试图通过限制最大可表示值来模拟均匀网格效果不佳，未来若能为推荐训练引入FP4加速，应争取支持均匀4-bit格式作为第一等训练原语。

Training | 2026-06-17 | HF Daily | score 8/10