How Lossless Is Lossless Speculative Decoding? The Role of Numerical Precision in Orthrus
无损推测解码真的无损吗？Orthrus 中数值精度的作用
🧭 LLM 推理加速 · 数值精度影响
独立复现验证 Orthrus 并行解码：BF16 下仅约 45% 轨迹精确匹配，FP32 则完全匹配，无损性依赖数值精度。
📌 工作参考价值（4 点）
- 部署 LLM 加速推理（如 speculative decoding、并行解码）时，如果业务要求输出与原始 AR 模型完全一致（例如线上已审核的文案、推荐理由），必须检查数值精度（BF16 vs FP32），否则可能出现轨迹不一致。
- 验证推理加速方案时，不要只依赖下游任务指标（如 lm-eval-harness 分数），应单独评估轨迹等价性，防止下游指标的鲁棒性掩盖了一致性问题。
- 论文发现匹配率与响应条件困惑度强相关：低置信度（高困惑度）的样本更容易出现不匹配，可在工程上针对高风险样本回退到 FP32 或原始 AR 解码。
- 对于生成式推荐/Agent 场景，如果采用 BF16 推理并且追求确定性输出，建议在关键路径保留 FP32 或提高数值精度，同时建立数值精度影响的评估机制。