Evaluating Chunking Strategies for Retrieval-Augmented Generation on Academic Texts
学术文本 RAG 分块策略评估：聚类语义分块未优于固定/递归分块
🧭 RAG 分块策略对比评估
Deggendorf Institute of Technology
在结构化学术长文档上，聚类 semantic chunking 的检索与答案质量未能超越固定大小和递归分块
📌 工作参考价值（4 点）
- 在结构化文档（如商品详情、政策文件）的 RAG 场景中，优先使用固定大小或递归分块，避免为语义分块付出额外计算成本，本次实验未观察到增益。
- RAGAs 框架的 faithfulness 指标在评价长文档 RAG 时可靠性存疑，业务评估应结合人工校验或更稳定的自动指标（如 retrieval precision）。
- 针对固定问题（如摘要类）与文档特定问题（如细粒度事实）的性能差异显著，实际部署时需为不同问题类型设计不同的分块与检索策略，例如对细粒度问题保留更细粒度 chunk 或添加元数据。
- 文档预处理（格式清洗、结构提取）对性能影响较大，在导入向量库前可强化对标题、段落的语义保留处理。