#BF16 - AI Papers Daily

Where Rounding Happens Matters: Rounding-Location Alignment Stabilizes LLM Reinforcement Learning

舍入位置对齐稳定 LLM 强化学习

🧭 LLM RL 数值稳定性

ByteDance Seed · Peking University

对齐训练与推理的 RoPE/SwiGLU/RMSNorm 舍入位置可避免 BF16 RL 崩溃

📌 工作参考价值（4 点）

用 vLLM rollout + HF 重算 log-prob 的 RL 流程，优先检查/对齐 RoPE 路径的舍入位置；本论文中单独对齐 RoPE 即可防崩溃，成本最低、不动推理引擎和 attention kernel。
BF16 RL 训练时，可把 RoPE/SwiGLU/RMSNorm 的中间激活保留 FP32 到输出再截断为 BF16；这是训练侧局部代码改动，避免了全局 FP32 带来的吞吐损失。
出现 LLM RL 不稳定的广告/推荐文案生成或对话 Agent 策略时，先别改算法或调 reward，先监控 rollout 与 training recompute 的 log-prob 差异；差异可能来自 rounding location 而非数据或算法。
该结论可迁移到基于 Qwen 等开源模型的搜索推荐 Agent 后训练：维持 BF16 matmul/kernel 性能，同时用局部舍入对齐降低 off-policy 偏差。

Training | 2026-10-23 | cs.LG | score 6/10

贪心解码并非精度不变：LLM 推理中的跨精度输出分歧

🧭 LLM 推理 · 精度一致性

University of Tennessee, Knoxville · University of Chicago · Amazon · University of Texas at Austin

证明 BF16/FP16 下贪心解码会系统性分歧，提出低 margin 触发 FP32 LM head 重算，一致性提升 22–36pp 且延迟开销 <4%

📌 工作参考价值（4 点）

线上 LLM 推理要显式固定 dtype：BF16 与 FP16 不能视为等价，尤其 greedy decode 用于召回/排序/文案/query 改写时，跨精度差异会造成离线在线或 A/B 的隐性不一致。可在服务配置中锁死 MatMul/attention/lm_head 精度，并用固定 prompt 集做跨精度 diff 测试。
如果需要在低精度下保持与高精度输出一致，不要全模型 FP32 重算；可移植 selective FP32 lm_head recomputation：仅当 top-2 logit margin 低于阈值时用 FP32 重算 lm_head，低 batch 单流下延迟 <4%，一致性显著提升。可封装成 inference wrapper 或 engine option。
注意适用边界：batch size >= 8 或端到端 FP8 下 body 误差主导，该方法失效；不要把它当作确定性保证。限流/批处理场景需要单独评估。
对 LLM 驱动的推荐/Agent pipeline，若输出 token 用于下游决策（商品 ID、工具调用、query 改写），低 margin token flip 会级联放大；可针对低 top-2 margin 的高风险样本做高精度重算或投票，并监控 margin 分布作为质量信号。

LLM | 2026-09-22 | cs.LG | score 6/10