AI Papers Daily

#LatencyModel

1 篇

An Interpretable Latency Model for Speculative Decoding in LLM Serving

服务于LLM推理的可解释推测解码延迟模型

🧭 LLM ★ 深度解读

MIT · Red Hat AI

利用Little's Law构建简单延迟模型，解释负载变化时推测解码的加速比如何随接受率和草案长度演化

LLM | 2026-05-14 | cs.LG | score 8/10

LLMSpeculativeDecodingLatencyModelLittle'sLawMoEServing