Enrich-Retrieve-Rank: Scaling Capability Discovery Beyond In-Context Routing
丰富-检索-排序:超越上下文路由的规模化能力发现
🧭 Agent 能力发现 · 检索-重排 ★ 深度解读
Amazon AGI
将 Agent 能力发现重构为离线丰富+在线检索-重排,在 7,278 个工具上以约一半成本领先 Search&Pick 6.5pp,并比全量上下文便宜 70 倍
📌 工作参考价值(4 点)
- 如果业务里要用 LLM 从上千个 API/agent/tool 中选调用,不要让它读全量 registry:改为 BM25+dense 召回 top-15,再单次 LLM listwise rerank。这样成本与 registry 规模解耦;Nova Micro 扫描显示单阶段全量路由在 N≈500 后崩,可作为架构切换的经验阈值。
- 离线把稀疏的 item/tool 元数据改写成结构化 profile(summary、action-led description、keywords、正/负 usage examples)一次完成,供检索和 reranker 共用。干净公开数据上 enrichment 无收益(甚至 -4.4pp),但元数据只剩 name 时 Match@1 +25.6pp、Recall@15 0.134→0.467;先评估自家商品/工具 metadata 稀疏度再决定是否上。
- 做错误归因:约70%的大规模 miss 在 retrieval,换更强 reranker 只 +3pp。优先提升一阶段召回(hybrid、更好 dense encoder、字段加权)而不是继续优化 reranker prompt。
- 打分信号可设计成可插拔加权:LLM 0.50 + BM25 0.05 + Quality 0.30 + Intent 0.15,字段缺失自动 renormalize;在有 trust/type 元数据时 Quality+Intent 额外 +4.5pp。这种统一配置可以跨 tools/agents/skills 复用,避免每种能力单独调参。