Flash-dLLM: IO-Aware KV Caching and Parallel Decoding for Fast, Memory-Efficient Diffusion LLMs
Flash-dLLM：IO感知KV缓存与并行解码加速扩散LLM
🧭 扩散LLM推理加速·KV cache
VILA Lab, MBZUAI
训练无关Flash-dLLM以IO感知融合KV cache和自草稿-验证解码，显著加速扩散LLM推理并省内存
📌 工作参考价值（4 点）
- 在 LLM 推理服务（如广告文案/搜索词生成）中，KV cache 的 HBM 读写常成为瓶颈；可借鉴 Flash-dLLM 的 IO-aware 融合 kernel，把多个注意力/cache 操作合并执行，减少冗余显存搬运，提升 batch/long-context 吞吐。
- 自草稿-验证（self draft-and-verify）不引入额外 drafter 模型，适合资源受限的 Agent/推荐系统：让主模型复用 KV cache 同时生成候选并按验证结果接受，降低延迟且不增加显存。
- 其并行解码与 KV-cache 驱动候选验证思路可迁移到批量生成场景，例如离线批量生成商品标题、query 改写或 push 文案；考虑非自回归或半自回归解码来扩大 batch size、缩短首 token 延迟。
- 面对 RAG 长文档或用户长序列，KV cache 显存与 I/O 受限时，可参考其对缓存复用和显存效率的优化策略，设计更紧凑的 cache 分层或融合模式。