Comparative Approaches to Agent Retrieval over Large Skill Libraries
大型技能库的智能体检索：知识图谱为何未能超越强排名器
🧭 Agent 技能检索与知识图谱
Praetorian
在技能检索中，知识图谱因边候选源于同一嵌入邻域而无法扩展排名器的召回边界
📌 工作参考价值
- 优先构建强混合排名器：在技能检索系统中，先投入资源做好 BM25 + 语义嵌入的融合排名器，而不是急于构造知识图谱。混合排名器本身能覆盖词汇和语义差距，成本低且有效。
- 评估集要避免作者回声：由阅读过技能库的作者编写的查询集会因术语重复而严重高估检索准确率，实验中关键词排名器被夸大 44 个百分点。评估时应使用非回声、真实场景的查询集。
- 知识图谱的边源不要与排名器共享：若要使用知识图谱辅助检索，其候选边生成必须源自排名器未使用的信号（如共现记录、跨模态数据），否则图谱仅能重排已有结果，无法增加新召回能力。
- 关注方向性关系的准确性：图边中 requires、precedes 等方向性关系的错误率可能高达 17–33%，若直接用于指导下一步动作，可能产生严重误导，需在落地前充分审计。
动机
智能体依赖技能库执行任务，当库内技能增至数百个时，全量加载成本高昂（~46.9k tokens/次），且缺乏结构化的先后顺序信息。作者尝试构建带类型的知识图谱，以编码技能间的先后、依赖、数据流等关系，以期同时改善“检索正确技能”和“决定技能顺序”两个问题。
方法关键点
- 混合排名器：组合 BM25 词汇匹配与 MiniLM 嵌入相似度（同一向量模型），实现稀疏按需检索，将 token 消耗降至 ~560，节省 98.8%。
- 知识图谱：三层边结构，核心为 LLM (claude-haiku-4-5) 生成的 8 种类型的有向边（requires, feeds_into, precedes 等）。生成流程以嵌入 top-K 邻居作为候选短名单，再调用 LLM 判断并输出类型，单技能增量成本 ~2.70。
- 边生成管道：先选取嵌入最近邻（K=8）作为粗筛，再强制 LLM 使用工具调用输出类型化边，最终与手写边、衍生边分层融合。
关键实验
- 在 117 条非回声真实查询上评估，混合排名器 hit@5 = 73.5%（±8.0），仍有约四分之一查询未命中。
- 作者编写查询集夸大准确率：在 37 条作者编写查询上，关键词排名器 hit@5 = 94.6%，实际仅 50.4%，差距 44.2 个百分点；混合排名器也夸大 21.1 个百分点。
- 拓扑界限：98.6% 的 LLM 生成边原本就在嵌入最近邻集合中，添加全部 1421 条类型边未改变任何图连通分量数或链接节点数，几乎零新增可达性。
- 图谱对比排名器：在匹配候选数（6）时，用图谱邻居替换额外排名结果导致 hit@5 显著下降 11.2 点（p=0.0007）；LLM 边层相对免费嵌入邻居无任何增益；73% 的排名器遗失查询无法经由图谱到达；在入口错误时，搜索恢复率是图谱的 2 倍。
最值得记住的一句话 “当知识图谱的候选边来自与排名器相同的嵌入邻域时，它永远无法超越排名器的召回上限。”