Self-Conditioned Positional HNSW for Overlap-Aware Retrieval in Chunked-Document RAG Systems: Method and Industrial Evidence-Quality Audit
面向分块文档RAG的自条件位置HNSW及其工业证据质量审计
🧭 RAG · 重叠感知检索 · 位置编码
eBay Inc.
通过向分块嵌入追加位置编码并设计自条件双阶段查询，在不改动HNSW图结构的前提下缓解重叠区块检索冗余，并引入大规模人工审计评估证据质量
📌 工作参考价值
- 位置编码轻量注入HNSW索引：在现有HNSW索引基础上仅扩展2维（半周期sin/cos位置码），不需要改图构建或遍历逻辑，适合在已有向量检索系统上低成本实施。
- 双阶段自条件查询降低冗余：第一轮纯语义检索估计 query 在文档中的大致位置，第二轮用估计的位置先验修正检索方向；此思路也可用于电商客服证据生成等场景，避免同一对话片段反复占据上下文窗口。
- 可审计的最小索引间隔选择器：引入参数 g 保证选入上下文的 chunk 索引差不小于 g，用简单规则通杀相邻重叠，工程实现十分轻量，且 g 值可解释、可审计。
- 人工审计框架直接参考：770条文本证据评分 + 70个OCR用例的多评估者校准方式（加权 Cohen’s κ、Fleiss’ κ）可直接复制到电商问答、商品描述生成的质量评估流程。
动机：RAG 系统常将长文档切分为有重叠的 chunk，但重叠导致向量语义近邻中大量相邻 chunk 重复相同信息，浪费有限的 prompt 预算且不增加证据覆盖面。现有 HNSW 仅按语义相似度召回，缺乏对文档位置结构的感知。该工作旨在以最小改动在 ANN 检索中引入位置感知，抑制相邻冗余。
方法：
- 索引阶段：每个 chunk 嵌入
x_i追加 2 维半周期位置码ϕ(p_i) = [sin(π p_i), cos(π p_i)]，与语义向量拼接后归一化，存入标准 HNSW 索引。位置编码起软偏置作用，不会将文档首尾误认为相邻。 - 两阶段自条件查询：第一轮用纯语义查询获得 top-k1 邻居，根据其索引和得分估算一个软位置先验
μ（加权平均）；第二轮将μ位置码与原始查询拼接后再次检索，得到融合了位置偏好的 top-k2 候选。 - 重叠感知最终选择：从候选列表中贪婪选取满足最小索引间隔
g的 chunk 构建最终上下文，从而以可解释的参数直接消除相邻冗余。
结果：
- 文本证据审计：770 条评论评分为 3/5 的占多数（574 条），仅 39 条落入 1–2 低分；结构化问题标签出现率 10.1%，远低于叙述性评论中软质量问题（74.5%），尤其标题对齐是主要显式失效模式。
- OCR 审计：70 个样例的切片通过率从清洁聊天截图的 95% 降至手写/模糊图片的 45%，Fleiss’ κ 从 0.68 降至 0.54，表明越复杂的文档模态一致性越差。
- 论文缺少对照实验：报告未提供 SCP-HNSW 与语义 HNSW、MMR 等基线在检索指标上的直接对比，仅呈现下游人工评估分布，故暂无法证明因果提升。