Finding the Right Balance: Relevance and Diversity in LLM Retrieval
找到正确平衡:LLM 检索中的相关性与多样性
🧭 RAG 检索多样化自适应策略
Université du Québec à Trois-Rivières
提出基于候选池冗余与查询证据需求的查询自适应规则,选择性启用检索多样化,避免损害相关性与答案质量
📌 工作参考价值(4 点)
- 在电商 RAG/商品问答中不要全局默认启用 MMR 或多样性重排:生产数据若候选池干净,多样化会降低相关性与答案质量;先用已有 embedding 统计 top-k 最近邻中有效 distinct 文档数,再决定是否开启多样性。
- 多证据场景(如从多个商品评价/卖点综合回答)可借鉴 query-adaptive 触发条件:当 top-k 选择的 distinct 文档数低于查询所需证据条数时再触发多样化,否则回退到最近邻;该规则无需额外模型,可跨数据集和 encoder 迁移。
- 当使用重叠 chunking 或商品库中有同款/相似描述时,可通过 RNG-Score 的 margin 检测重复结构,作为降级信号;margin 明显时说明冗余高,适合切换多样化,否则直接保留 NN 结果。
- 工程实现可把“有效不同文档数”做成轻量在线统计特征,与召回/重排解耦,避免因盲目开多样性浪费 context budget 或漏掉关键证据。