Greedy Decoding Is Not Precision-Invariant: Cross-Precision Output Divergence in LLM Inference
贪心解码并非精度不变：LLM 推理中的跨精度输出分歧
🧭 LLM 推理 · 精度一致性
University of Tennessee, Knoxville · University of Chicago · Amazon · University of Texas at Austin
证明 BF16/FP16 下贪心解码会系统性分歧，提出低 margin 触发 FP32 LM head 重算，一致性提升 22–36pp 且延迟开销 <4%
📌 工作参考价值（4 点）
- 线上 LLM 推理要显式固定 dtype：BF16 与 FP16 不能视为等价，尤其 greedy decode 用于召回/排序/文案/query 改写时，跨精度差异会造成离线在线或 A/B 的隐性不一致。可在服务配置中锁死 MatMul/attention/lm_head 精度，并用固定 prompt 集做跨精度 diff 测试。
- 如果需要在低精度下保持与高精度输出一致，不要全模型 FP32 重算；可移植 selective FP32 lm_head recomputation：仅当 top-2 logit margin 低于阈值时用 FP32 重算 lm_head，低 batch 单流下延迟 <4%，一致性显著提升。可封装成 inference wrapper 或 engine option。
- 注意适用边界：batch size >= 8 或端到端 FP8 下 body 误差主导，该方法失效；不要把它当作确定性保证。限流/批处理场景需要单独评估。
- 对 LLM 驱动的推荐/Agent pipeline，若输出 token 用于下游决策（商品 ID、工具调用、query 改写），低 margin token flip 会级联放大；可针对低 top-2 margin 的高风险样本做高精度重算或投票，并监控 margin 分布作为质量信号。