#Throughput

3 篇

ProVe: Proposer-Verifier Decoding

ProVe：提案者-验证者解码

🧭 LLM 推理加速 · 提案-验证解码

把大模型微调为一次预测多 token 的 proposer，再以小模型或自身验证，取得 2.5–2.7× 解码加速

📌 工作参考价值（4 点）

在延迟敏感的 LLM 在线服务（商品描述生成、query 改写、对话推荐）中，可把已有 AR checkpoint 继续微调成 block proposer，一次 forward 生成多个后续 token，省去额外 draft head，直接降低串行 forward 次数。
若业务要求输出与 greedy AR 完全一致，采用 ProVe-lossless 自验证；若允许少量精度损失换吞吐，则接一个小 verifier，这样部署时可以按 QPS 目标动态切换档位。
对 Agent 多步推理或工具调用场景，长轨迹生成可让大模型一次起草多个步骤或工具参数，再用轻量 verifier/规则引擎快速校验前缀，减少交互轮次。
注意 block size 与接受前缀的关系：论文 block size 16 只有 6.6 token 平均匹配前缀，实际部署需按领域调 block size 并监控接受率，避免无效计算。

Other | 2026-10-19 | HF Daily | score 7/10

何时复制：用模型内在信号控制投机解码

🧭 LLM 推理加速 · 投机解码

SwitchSD 用轻量探针识别 LLM 的复制意图，动态切换神经草稿与上下文复制，吞吐最高提升 15%

📌 工作参考价值（4 点）

在部署 LLM 推理服务（如推荐文案生成、Agent 工具输出）时，可借鉴 SwitchSD 的 copy-intent 探针：对目标模型中间层训练轻量分类器，判断当前 token 是否应从上下文复制，避免 Prompt Lookup Decoding 的误触发。
对于大量 copy 场景（商品描述扩写、基于历史行为生成推荐理由、模板填充），混合策略明显优于单一神经草稿；用 hidden-state probe 代替 n-gram 重叠启发式，可减少意外重复。
工程上可将 EAGLE/PLD 作为两个 draft 后端，通过探针分数做低成本路由，无需重新训练主模型；如果业务里 copy 密度高，预期可获得 10%+ 吞吐提升。
可复用的结论：copy 不是一个表面 n-gram 模式，而是 LLM 内部可检测的控制信号；把复制判断从规则升级为模型感知，能直接提升投机解码效率。

LLM | 2026-09-17 | cs.CL | score 7/10

向量数据库近似最近邻搜索综合评测：性能、质量与资源权衡

🧭 向量数据库 ANNS 基准评测

University of Kelaniya

在6个数据集上评测7个向量数据库，揭示FAISS吞吐最高、Weaviate召回最好、Qdrant延迟最低，并开源框架

📌 工作参考价值（4 点）

在电商/RAG/推荐系统中，向量检索是高频依赖，选型时可参考评测结论：追求极致吞吐选 FAISS（但需自建数据库管理）；需要开箱即用高召回选 Weaviate；对延迟敏感选 Qdrant；快速冷启动/索引构建选 LanceDB。
作者开源了基准测试框架，可将自家业务数据集和查询负载直接套用，横向对比候选向量库在真实 query 分布下的 Recall@K、P99 延迟、内存/存储占用，避免盲目选型。
关注 cold-start latency（首次查询或容器冷启动）指标，对在线服务弹性扩缩容和 serverless 部署有实际参考价值；评测显示部分系统冷启动开销差异大。
结合资源消耗（索引构建时间、内存、存储）与查询性能做权衡：LanceDB 通过牺牲召回换取极快索引构建，适合频繁重建索引或数据快速流入的场景，如实时用户行为 embedding 更新。

Eval | 2026-08-13 | cs.IR | score 6/10