A Structured Knowledge Infrastructure for Domain-Specific Data Asset Discovery
面向领域数据资产发现的结构化知识基础设施
🧭 企业级RAG：知识图谱引导检索与场景感知排序
Xiaohongshu
基于知识图谱引导检索和场景感知排序，将广告数据资产命中率从19.1%提升至96.6%，Token降低71.6倍
📌 工作参考价值
- 知识图谱候选门：借鉴GGR，用领域知识图谱社区划分与同义词扩展做粗召回，将候选集从数千缩至3–15个，再喂给精排模型，既能降低向量检索噪声，又能将LLM Token消耗减少数十倍。
- 双用途结构化标注：设计同时服务检索和生成的文档模板，将“适用/不适用场景”显式标签作为第一类排序信号；特别是“不适用”负向知识，直接贡献25pp的Hit@10提升，可在电商推荐中用于抑制错误匹配、提升可解释性。
- 意图路由机制：构建基于关键词规则+LLM兜底的意图分类器（7类），在毫秒级延迟内实现查询分流，可灵活用于Agent系统中的工具分发或任务路由，无需微调。
- 轻量闭环刷新：LLM自动起草知识补丁，专家一键审批后30秒热加载，既保持知识库天级新鲜度，又避免全自动合并的风险，适用于活动/属性变化频繁的电商知识维护。
动机
企业数据分析Agent面临两个结构性失败：通用RAG检索数据资产命中率极低（Hit@10仅19.1%），且缺乏使用知识导致指标误用。根源在于高频词噪音大（C1）、实体指代歧义（C2）、模式漂移（C3）和资产-使用知识断层（C4）。在小红书商业广告数据仓库（5300+张Hive表、14个域）中，这些问题被急剧放大。
方法关键点
- 三层双用途知识库：Tier 1为O(1)关键词路由+热点资产；Tier 2为179个按八段式模板（别名、实体标签、适用/不适用场景、SQL、指标等）手工标注的文档，同时服务检索与生成；Tier 3为2859个节点、474个Louvain社区的知识图谱。
- Graph-Guided Retriever（GGR）：双通路并行——图遍历利用459个同义词组展开查询，在知识图谱社区内基于倒排索引和IDF权重匹配；意图路由将查询分为7类意图，直接定向到专业文档。两路合并将候选集从全库压缩至3–15个文档，Token减少71.6倍。
- Scene-Aware Ranker（SAR）：五阶段精排，重点引入19类实体识别和显式“适用/不适用”场景标注。正信号包括IDF加权实体对齐、资产名称匹配、适用场景匹配；负信号为“不适用”场景的强抑制。根据意图进一步筛选知识切片供应给下游LLM。
- 闭环刷新流水线：LLM起草知识补丁，专家一键审批后30秒内热加载，维持天级新鲜度（月均45个补丁）。
关键结果
在两个各100问的生产基准上，资产发现Hit@10从19.1%跃升至96.6%（+77.5 pp），知识覆盖率从56%提升至77%，端到端延迟4.84–5.33秒。消融实验显示，适用场景标注贡献最大（‑48 pp），其次为图路径（‑36 pp）、不适用场景抑制（‑25 pp）和实体识别（‑18 pp），证明显式领域知识远强于通用嵌入。
最值得记住的一句话：在专业领域检索中，结构化图谱、意图路由和场景标注能够主导通用向量相似度，显著提升命中率并降低Token成本。