#prefill - AI Papers Daily

Trajectory-Level Speculation with Semantic Verification for Tool-Using Agents

工具智能体的轨迹级推测与语义验证

🧭 弱-强模型协作与推测执行 ★ 深度解读

LARK, HKUST (GZ) · Yinwang · University of Cambridge · HKUST

让弱模型草稿执行只读工具调用，强模型在不可逆动作前一次性 prefill 验证并修复，用验证替代逐步解码

📌 工作参考价值（4 点）

在电商客服/订单处理 Agent 中，把工具调用分为只读查询和状态变更：订单查询、库存查询、读用户记录等只读步骤可以由 4B 小模型草稿并立即执行；退款、改单、发 push 等写操作由大模型在提交前一次性验证，大幅降低大模型调用次数。
验证时用语义接受而非 exact match：不要求小模型步骤与大模型自己生成的一致，只判断该步骤是否朝任务目标有效推进。推荐/搜索 Agent 中，query 改写、工具参数选择可以有多种有效路径，这样能保留小模型的有效进展，避免无谓重生成。
工程上把验证 prompt 设计成只输出短 verdict：接受前缀长度 + 替换动作 + 理由，让大模型只解码少量 token 而不是逐步生成动作；融合 replacement action 能减少额外修复调用。
适合 memory-bandwidth-bound 的线上 serving：节省主要来自用一次 prefill 读取整段草稿替代逐个 token 解码，HBM-read 和 wall time 下降 40-50%；在云-端部署中可显著降低云端 output tokens 和 API 成本。注意如果小模型太弱、acceptance rate 过低，repair 次数会上升，节省消失，上线前需离线评估 weak-only 能力。

Agent | 2026-10-14 | HF Daily | score 8/10

CRISP：基于结构质量路由的悬崖感知输入自适应稀疏预填充

🧭 动态稀疏注意力·长上下文预填充优化 ★ 深度解读

University of Oregon · Adobe Research · Hanoi University of Science and Technology

用结构质量代理替代JSD路由，以噪声地板阈值替代累积覆盖阈值，消除长上下文预填充的O(n)噪声积累

📌 工作参考价值（5 点）

## 可借鉴点
如果电商/Agent 场景中需要对长商品描述、评论、用户会话或多轮记忆做长上下文 LLM 推理加速，prefill 阶段可优先考虑动态稀疏注意力；CRISP 的 Cstruct 路由只需最后 query block 的代理注意力在首尾 anchor 区间做切片，省去 JSD 需要的 pooled matmul 与 KL 开销，工程实现更轻。
稀疏 token/block 选择不要用固定累积覆盖（如 top-p 累计 0.95）。有 attention sink 的模型容易早停在 sink 漏掉信号，或为凑阈值收 O(n) 噪声；改为相对噪声地板阈值（如 block 质量 p_j > αμ），α=1.0 可作为免调默认，业务侧更稳。
部署时建议加 context length 门限：论文在 8k 时稀疏仍比 dense 慢约 4x，64k 以上才开始反超；短 prompt 服务不必开启稀疏预填充。长上下文 RAG/检索类任务收益最大，聚合/多跳任务需评估精度-覆盖权衡。
可复用 VS/PE 双路径思想：对低熵/高集中 head 用结构模式选择，对高熵 head 用 pooled estimation；不要对所有 head 使用同一种稀疏策略。

Other | 2026-08-31 | HF Daily | score 8/10