Same Question, Different Source, Different Answer: Auditing Source-Dependence in Medical Multi-Source RAG
同一问题,不同来源,不同答案:审计医疗多源RAG中的源依赖性
🧭 多源RAG评估 · 源依赖性审计
Carnegie Mellon University
将RAG评估从单答案正确性转向源间关系审计,揭示多源异质性被严重低估
📌 工作参考价值(4 点)
- 多源RAG审计框架可直接迁移至电商问答:当知识库包含不同商家政策、商品描述时,检测答案源依赖性,避免单一来源给出误导性高置信回复。
- HERO-QA层次化检索和结构化输出judge的设计可复用于多源知识库冲突检测,在电商产品推荐解释、政策问答中自动标注答案一致/矛盾关系。
- 5标签源间关系分类法(一致/互补/部分重叠/矛盾等)适合作为Agent或推荐系统多路召回融合的后处理标准,用于冲突消解或多角度信息呈现。
- 启示:更好的检索会暴露更多分歧,业务中盲目提升召回而不审计源依赖性可能放大风险,需建立持续监控体系。