AgSpec: Pushing the Limits of Retrieval-Based Speculative Decoding in Coding Agent Pipelines
AgSpec：在编码代理流水线中突破检索型投机解码极限
🧭 编码多智能体流水线的检索式投机解码加速
KAIST
AgSpec通过三层语料检索与按Agent自适应草稿长度，将编码Agent流水线生成吞吐提升至自回归解码的4.37–4.76倍
📌 工作参考价值
- 将多轮Agent交互历史、工作区文件、全局模板分层构建检索库，能提高生成式任务（如商品标题/详情、客服回复）中投机解码的draft命中率；索引时把原文转换为最终输出格式，避免格式不匹配导致验证拒绝。
- 不同Agent或生成任务的接受长度差异大：离线profile每个Agent/Task的draft长度上限，线上根据acceptance/verification feedback动态调长或调短，可避免固定草稿长度带来的overhead。
- 投机解码在batch=1和batch=16下都有显著吞吐提升，适合电商Agent低延迟交互和高并发批式生成两类场景；可在内部LLM推理框架中加入检索草稿模块，优先尝试session级检索再混合全局。
- 该方案不依赖额外训练，通过工程化语料与策略即可提升，适合现有Agent流水线快速集成，尤其是多轮、多智能体调用LLM的自动生成系统。
动机：编码Agent多轮迭代、多agent分工，生成内容大量重复（代码片段、日志、历史尝试）；检索式投机解码适合复用已有文本，但现有方法在agent流水线中语料缺失、存储格式与生成格式不一致，且固定草稿长度忽略不同agent与不同轮次接受长度的差异。
方法关键点：AgSpec提供语料与草稿长度策略。语料分三层：session（保留当前会话轨迹）、workspace（索引打开的代码/文件并转为agent输出格式）、global（全局历史）。草稿长度：离线为每个agent剖析接受长度上限，在线根据验证反馈动态调整，兼顾不同agent与轮次漂移。
关键结果：在两个repository-level多agent编码基准上，AgSpec优于五种检索式drafter和EAGLE-3，吞吐相对自回归解码提升最高4.37倍（batch 1）和4.76倍（batch 16），并在没有仓库或多agent的基准上保持收益。