DominoTree: Conditional Tree-Structured Drafting with Domino for Speculative Decoding
DominoTree：基于Domino条件修正的推测解码树形起草
🧭 推测解码 · 条件树起草 ★ 深度解读
National Taiwan University
利用Domino的GRU路径依赖校正构建非因子化草稿树，在Qwen3-4B上平均加速达4.81倍，接受长度最高10.7 tokens
📌 工作参考价值（4 点）
- 推测解码中的树形搜索思想可迁移至推荐/Agent的候选生成：当评分函数依赖于已选序列（如用户行为路径）时，可借鉴DominoTree的条件堆展开方式，用轻量级修正网络（GRU）替代重跑完整encoder，降低分支成本。
- 将per-node昂贵的全词表投影限制到top-M候选（候选限制）是工程化关键技巧，在电商搜索的语义ID生成树或推荐多轮交互中，可类似使用预筛选缩小搜索空间。
- GPU-native builder（CUDA graph捕获与回放）展示了如何在不改变算法正确性的前提下，消除Python kernel launch开销，对需要频繁调用小算子的推理服务有直接参考价值。
- CondAdaptive的失败教训表明：若草稿模型的路径概率与目标模型接受率校准不当，自适应预算规则会退化为固定预算，提示我们在做动态裁剪时需验证概率估计的准确性。