Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation
阶段回放分歧跟随KV缓存：固定前缀精度控制与双向缓存移植
🧭 LLM推理诊断·KV缓存与数值精度
Openhagen
发现推理阶段回放的分歧由KV缓存状态决定，FP32可消除BF16下的解码分歧，双向缓存移植证实因果性
📌 工作参考价值（4 点）
- 在需要严格复现生成结果的场景（如Agent多步推理、离线评估、A/B测试）中，必须保持KV缓存位的精确一致，仅依赖相同token ID和贪婪解码还不够；若使用BF16混合精度，意外分歧可能被误判为模型行为变化。
- 推荐使用FP32进行关键路径的推理或缓存存储，以避免因精度导致的隐性分歧；若必须使用BF16，需通过逐令牌桥接验证缓存等价性。
- 双向缓存移植技术可用于诊断生产环境中不可复现的生成轨迹，能快速定位分歧源头是模型权重还是缓存状态。
- 在构建基于LLM的推荐Agent时，若采用中间状态暂停-继续的策略，应固定前缀缓存并控制精度，避免因缓存重建引入不可控的推荐结果漂移。