Contextual Correction of Parallel Draftsfor Speculative Decoding
并行草稿上下文校正用于投机解码
🧭 LLM 推理加速 · 投机解码
DCOCO通过并行上下文评分恢复并行草稿块内依赖，在多种解码设置下取得最高吞吐，最高6.6倍加速
📌 工作参考价值（4 点）
- 若在线上用 LLM 做搜索 query 生成、商品文案、Agent 对话等文本生成服务，可引入投机解码降低首 token 延迟，DCOCO 的并行上下文校正比顺序校正更适合高并发请求，实测 4–32 并发下提升 6–23%。
- DCOCO 在保留 drafter 并行性的前提下，通过轻量 scorer 恢复块内 token 依赖；类似思路可用于生成式推荐的 beam search / 候选生成，在保持并行推理的同时加入相邻候选的相容性打分，避免完全独立采样导致的低质量序列。
- 部署时要关注 drafter 与 verifier 的 KV cache 管理，DCOCO 的候选打分机制只增加很小开销，适合与 continuous batching / vLLM 等 serving 框架结合。
- 顺序校正（如逐个用上下文修正）在高并发下可能因为 kernel launch 开销反而退化，选择并行打分方案更稳。