#chunking

4 篇

QESChunker: A Single Objective Unifies Overlapping and Non-Overlapping Chunking for RAG

QESChunker：用问答证据监督统一重叠与非重叠 RAG 分块

🧭 RAG 分块 · 监督式索引构建

Alibaba Group · Taobao (China) Software Co., Ltd.

将 RAG 分块形式化为问答证据效用最大化的监督组合优化，非重叠用 DP 精确解，重叠用贪心近似解

📌 工作参考价值（4 点）

RAG 知识库/商品文档分块别再只用固定长度或段落：沉淀业务侧 question–evidence pairs（客服问句-答案片段、售后手册标注、商品属性问答），用 QESChunker 思路以“完整证据召回率”为预算约束优化每个文档的 chunk 边界；非重叠版可用 DP 解，适合电商知识库规模。
重叠 chunk 的组合优化是 monotone submodular，贪心有 (1-1/√e) 近似，工程上可先用 LLM 生成 question-evidence 对，再做监督式 chunking，不必等真实 query 日志，冷启动友好。
论文验证指标是 complete-evidence recall，对应客服/导购 Agent 中“是否一次检索取回完整答案证据”，建议在业务评估里加这个指标，而不只看 top-k 命中。
混合 retriever 固定条件下该方法优于 heuristic，可作为 Agent 检索底座预处理：先离线构建 document-specific chunk index，不增加在线复杂度，适合商品手册、店铺政策等更新频率低的语料。

RAG | 2026-10-27 | cs.IR | score 7/10

巴西法律文档检索的结构化分割

🧭 长文档结构化分块与稠密检索

Câmara dos Deputados · Senado Federal · Universidade Estadual de Campinas (UNICAMP) · Universidade Federal do Cariri (UFCA)

长法律文档按结构分块索引可提升稠密检索效果，完整层级非必需，核心块加文档元数据即可

📌 工作参考价值（4 点）

对长文档场景（商品详情、政策条款、合同、帮助中心 FAQ），优先使用结构化分块而不是整篇文档做 dense 索引，可显著提升语义召回；但注意索引单元数会大幅增加，需要评估线上 QPS 与存储成本。
不需要维护完整层级树；把核心分块（如商品核心参数、条款正文）加上文档级元数据（类目、品牌、标题、文档 ID）作为上下文，就能达到甚至超过复杂层级表示的效果，工程实现更简单。
结构化分块对 BM25 等 lexical 检索提升不一致，因此不要全链路替换；可以保留整文档 BM25 召回，同时用结构化分块做 dense 召回，混合加权或多路召回更稳妥。
分块时要注意元数据上下文注入，避免孤立块语义漂移；类似地，电商长描述或评论聚合可以按要点/属性切块，并带上商品 title 或类目信息，让向量更聚焦。

Other | 2026-10-13 | cs.IR | score 6/10

学术文本 RAG 分块策略评估：聚类语义分块未优于固定/递归分块

🧭 RAG 分块策略对比评估

Deggendorf Institute of Technology

在结构化学术长文档上，聚类 semantic chunking 的检索与答案质量未能超越固定大小和递归分块

📌 工作参考价值（4 点）

在结构化文档（如商品详情、政策文件）的 RAG 场景中，优先使用固定大小或递归分块，避免为语义分块付出额外计算成本，本次实验未观察到增益。
RAGAs 框架的 faithfulness 指标在评价长文档 RAG 时可靠性存疑，业务评估应结合人工校验或更稳定的自动指标（如 retrieval precision）。
针对固定问题（如摘要类）与文档特定问题（如细粒度事实）的性能差异显著，实际部署时需为不同问题类型设计不同的分块与检索策略，例如对细粒度问题保留更细粒度 chunk 或添加元数据。
文档预处理（格式清洗、结构提取）对性能影响较大，在导入向量库前可强化对标题、段落的语义保留处理。

RAG | 2026-07-02 | cs.IR | score 6/10

Google Embeddings 2 与开源模型的多语言稠密检索及 RAG 系统基准评测

🧭 多语言稠密检索模型评测 ★ 深度解读

University of Salerno · University of Bari

系统对比 GE2 与 5 款开源嵌入模型，揭示 GE2 质量最优但延迟高，mE5-L 在短文本几乎持平，LaBSE 完全不适合检索。

📌 工作参考价值（4 点）

绝对不要用 LaBSE 做检索：它的训练目标是跨语言句子对齐，与 top-k 相关性排序天然不兼容，BEIR 上 nDCG@10 仅 0.188，FiQA 上低至 0.069，比随机还差。当前仍有很多教程将其用作多语言检索 backbone，应立即替换为 mE5-L 或 GE2。
短文本、单语场景优先用 mE5-L：在意大利语短篇章（平均 60 token）上，mE5-L 的 nDCG@10=0.279，与 GE2 的 0.282 几乎无差异，但延迟仅 31 ms，比 GE2 快 7.5 倍，适合对 <100ms SLA 敏感的实时检索或在线推荐服务。
长文档或 query–doc 严重不匹配时切换 GE2：对于法律文本、医疗文献等长篇幅内容，GE2 的 2048 token 上下文窗口避免了 BERT 系模型的截断损失；其RETRIEVAL_QUERY/RETRIEVAL_DOCUMENT 的非对称条件编码能系统性地处理 query 与文档的词汇风格差异，在 TREC-COVID 等任务上优势明显（0.799 vs 0.702）。
分块策略可大幅简化：在短篇章体裁（平均 60 token）中，所有模型在 32 token 即达性能饱和，进一步增大分块无增益；可优先使用固定 256-512 token 的窗口，仅在 token 极度受限（16 token）时语义分块才有效果。这可以将分块调优成本降为零。

RAG | 2026-05-22 | cs.CL | score 8/10