Beyond Relevance-Centric Retrieval: Rubric-Oriented Document Set Selection and Ranking
面向文档集整体质量：从评估基准到无训练优化
🧭 文档集评估与选择 · 面向 RAG 闭环
Tencent Yuanbao AI Search · University of Science and Technology of China · University of Chinese Academy of Sciences · Shandong University
提出文档集评估基准 SetwiseEvalKit 和无训练选择方法 Rubric4Setwise，以更少文档提升 RAG 生成质量
📌 工作参考价值（4 点）
- 电商 RAG 场景（智能客服、AI 导购）中，可借鉴 Rubric4Setwise：定义业务准则（如覆盖产品属性、避免矛盾），利用 LLM 将准则转化为文档选择信号，以更少文档提升答案完整性与准确性。
- 用 SetwiseEvalKit 的多维指标（冗余、冲突、互补）诊断多路召回融合后的文档集质量，指导重排序策略优化，弥补传统逐条相关性指标的局限。
- 无训练方法适合快速迭代和冷启动，无需专门训练文档集选择模型，直接复用现有 LLM 的评估能力。
- 开源基准与工具可直接用于线下评测不同 reranker 的文档集层面效果，为选型提供依据。