Retrieval Augmented Generation Compositionality
检索增强生成(RAG)的组合性评估
🧭 RAG 流水线组合评估
IBM · Weizmann Institute of Science
系统评估RAG各阶段技术组合,发现孤立增益不可叠加且最优组合随语料规模变化
📌 工作参考价值(4 点)
- 在电商/Agent的RAG知识库或购物问答中,不要只按单模块离线指标选型:三种检索技术孤立预测+47%联合提升,组合后仅+17%,单点提分可能被其他阶段抵消。
- 同时跟踪检索质量(如NDCG@10)和最终忠实度/业务指标;组件对两者增益方向可能相反,避免为召回率牺牲生成质量。
- 语料规模从小规模实验到全量商品库/百万级文档时,必须重新验证最优组合;小语料最优配置不一定在大语料保持,应做分规模子集测试。
- 借鉴LASAGNA思路搭建内部RAG实验框架,固定其他阶段做单变量替换,支持不同语料规模与多指标报告,沉淀可复现的pipeline配置。