TRACER: Trajectory-Aware Tool Retrieval for LLM Agents
TRACER：面向 LLM Agent 的轨迹感知工具检索
Microsoft
利用历史工具调用轨迹的 trie 索引和状态自适应双先验混合，在保持准确率的同时大幅降低工具选择上下文成本
📌 工作参考价值
- 在电商客服 Agent 中，可将历史成功调用轨迹构建为 trie，按当前执行前缀（如已调用 get_user_details）约束下一步候选工具，把工具选择从独立检索变为序列预测，减少无关工具干扰。
- 对每个转移边存储历史对话嵌入，计算当前上下文与该嵌入的 cosine 相似度，能区分描述相似但用途不同的工具（例如退货标签 vs 退货操作），避免模型误选危险操作。
- 使用轻量线性头学习每个状态的混合权重 w 和温度 T，动态调节经验先验（转移频率）与上下文先验（语义相似度）的重要性，比固定权重（如 α=0.5）更鲁棒，尤其适合工具分布不均匀的注册表。
- 若注册表中存在大量与状态无关的通用工具（如 KB_search、grep），可引入一个小型全局工具集 G（按前缀熵选取 top 工具）作为兜底，能显著提升召回。
- 工程实现上，trie 索引和边记忆查询开销极低，可完全离线构建，在线只需前缀查找和点积计算，适合大规模工具注册表的高并发场景。
动机 现代 LLM Agent 通过工具调用来完成任务，但暴露整个工具注册表导致 token 成本高、上下文过长，且工具选择准确率随注册表规模下降。现有工具检索方法（向量搜索、描述匹配）将每一步视为独立搜索，忽略了工具调用之间的顺序依赖；然而在实际多步任务中（如电商客服：识别用户→拉取账户→打开订单→执行操作），已发出的调用严格约束了下一步候选工具。
方法关键点
- 构建执行 trie：将历史成功轨迹的每个 turn 前缀作为节点，后续工具作为边；边的信息包括经验先验（转移频率）和边记忆（该转移出现时的历史对话嵌入均值）。
- 双信号打分：对当前前缀节点的每个子工具，分别计算上下文先验 L(t)（当前对话嵌入与边记忆的 cosine 相似度，经 ReLU 归一化）和经验先验 P(t)（平滑后的转移频率对数）。
- 状态自适应混合：用一个五维状态特征向量（如子节点数、先验熵、深度等）通过线性头预测混合权重 w 和温度 T，得到最终分数 s(t) = (1/T)[(1-w)L(t) + wP(t)]。权重和温度是在交叉拟合的 trie 上通过最小化负对数似然训练得到的。
- 置信度门控与回退：当遇到未见状态或分数分布平坦（κ<τ）时，回退到全局向量搜索；可选配置 TRACER+G 加入全局通用工具集 G（按前缀熵选取 top 3 工具）以覆盖无状态依赖的通用工具。
关键实验与结果 在混合零售+电信的 Mixed Tau2 R&T Large 环境（128 个工具）上，TRACER 搭配 GPT-5.4 将工具选择准确率从全注册表的 57.2% 提升到 61.9%（+4.7 点），同时每步输入 token 从 14.2k 降至 2.8k（降低 80%）。在 6 个环境、4 个模型的 teacher-forcing 评估中，TRACER 在 24 个模型-环境对中的 21 个上超过全注册表，平均提升 6-10 点；在自由运行模式下，GPT-5.4 以 23% 的工具候选集达到与全注册表持平的任务成功率（58.3% vs 58.2%），token 成本降低 61%。消融表明，学习到的状态混合权重比固定混合带来 0.9-7.6 点提升；将 trie 键深截断为最后 2 个调用时，某些模型上准确率提升 1.5-2.9 点，提示键深是值得调优的超参数。
最值得记住的一句话：把工具检索从独立搜索重构为基于执行轨迹前缀的条件预测，利用 trie 和双先验能同时提升选择准确率并大幅削减上下文成本，是 Agent 工具管理的一条低开销高收益路径。