#Serving

4 篇

Ask the Tool, Don't Guess: Agent Tool Calls Hold Their Progress, and the Serving System Should Read It

工具调用进度自报：Agent 服务系统应读取而非猜测

🧭 Agent 工具调用 · KV cache 调度

Tsinghua University · Alibaba Cloud Computing · Zhejiang University

让工具调用上报剩余进度，比预估算更准，可将 p90 TTFT 降低约 20%

📌 工作参考价值（4 点）

在电商/搜索 Agent 中，对长耗时工具（SQL 查询、库存 API、商品爬虫、订单处理）增加 progress 上报字段，如剩余比例或“即将完成”信号，服务层可用它做 KV cache 驱逐/恢复决策，而不是靠工具名或历史均值猜时长。
工程实现上，progress 信号通过 harness 旁路采集，不改变 Agent 可见的输入输出，对 benchmark 分数无损耗；这可以直接迁移到现有多 Agent 编排框架，无需修改模型 prompt。
在推理引擎侧，把工具 progress 作为轻量 hint 接入 KV cache 管理，作者在 LRU 上仅做小改动就接近 oracle，说明该信号比复杂预估器更有投产价值；如果业务受 TTFT p90 波动困扰，可优先采工具真实进度而非加预测模型。
进度信号在环境变化时仍然准确，适合电商大促、突发流量等场景；对多租户 GPU 资源调度，长工具调用按真实剩余时间释放/保留缓存，能提升 HBM 利用率。

Agent | 2026-09-16 | cs.AI | score 7/10

PagedWeight：基于动态质量感知量化的高效 MoE LLM 推理

🧭 MoE 推理优化 · 动态量化

University of Illinois Urbana-Champaign

通过运行时动态量化 MoE 专家权重，在 KV 缓存压力下平衡精度与内存，最高节省 72% 显存并提升 1.94 倍吞吐

📌 工作参考价值（4 点）

在电商大模型（如多专家推荐、多任务模型）的推理部署中，可借鉴 PagedWeight 的动态量化策略：依据请求负载和剩余 KV 缓存空间，实时调整专家权重的量化精度，避免 OOM 同时保留推荐质量。
系统设计上，可引入“精度-内存-延迟”三维感知的调度器，类似 PagedWeight 的质量感知策略，在延迟约束下动态为不同专家分配不同位宽，相比静态均匀量化可大幅提高内存利用率。
当推荐模型规模膨胀到需要多 GPU 或 KV 缓存成为瓶颈时，权重的页式管理（paged offloading/quantization）思路可直接复用，通过将非活跃专家权重以低精度或卸载方式管理，降低常驻显存。
实验中表明，在同等显存预算下，PagedWeight 比强 baseline（如 GPTQ、AWQ）质量提升最高 39.3%，证明动态精度分配比固定量化有显著收益，业务中可优先考虑实现“按需精度”而非全局统一量化。

LLM | 2026-07-17 | cs.LG | score 7/10

GF-DiT：面向扩散 Transformer 服务的动态并行调度

🧭 扩散模型服务 · 动态并行调度

Shanghai Jiao Tong University · Guizhou University

将 GPU 并行度作为可调度资源，通过弹性运行时和轻量组通信大幅提升 DiT 服务效率

📌 工作参考价值（4 点）

动态并行调度思想可直接应用于电商场景中的图像/视频生成服务（如商品图生成、虚拟试穿），根据请求量波动弹性分配 GPU，提升资源利用率并保障延迟 SLO
Group-free collectives 的低开销通信组建立机制（从 778ms 降至 60μs）可用于需要频繁重配并行组的多 Agent 协作推理或分布式模型推理，减少通信初始化开销
异步执行抽象（请求分解为可独立调度的轨迹任务）可借鉴到长推理链的 Agent 系统中，提高步间并发和 GPU 利用
策略可编程运行时设计允许按业务目标（如优先降低 P99 延迟）配置并行调整策略，适合推荐系统中对生成式模块的差异化服务质量要求

Other | 2026-06-11 | cs.LG | score 6/10

服务于LLM推理的可解释推测解码延迟模型

🧭 LLM ★ 深度解读

MIT · Red Hat AI

利用Little's Law构建简单延迟模型，解释负载变化时推测解码的加速比如何随接受率和草案长度演化

LLM | 2026-05-14 | cs.LG | score 8/10