Cascading Hallucination in Agentic RAG: The CHARM Framework for Detection and Mitigation
代理RAG中的级联幻觉检测与缓解：CHARM框架
🧭 代理RAG · 级联幻觉检测与缓解
University of North Dakota
提出CHARM框架，通过跨阶段事实验证、一致性跟踪和置信度监控，实现89.4%的级联幻觉检测率和82.1%的错误传播减少。
📌 工作参考价值
- 多步推理流水线的被动检测层：电商推荐Agent常涉及查询解析→召回→排序→生成解释等多步推理，可借鉴CHARM在不替换原有架构的前提下，引入跨阶段事实验证（SFV）和语义漂移跟踪（CSCT），捕获中间步骤的事实错误与逻辑偏移，避免错误积累导致最终推荐结果看似合理实则错误。
- 高价值场景的双模验证：对于大促选品、合规文案等高风险决策，可采用平行验证代理（PVA）进行独立复核，以2倍计算成本换取95.2%的缓解成功率，适合金融、医疗等强监管领域。
- 置信度传播监控：在生成式推荐或对话流中，可借鉴置信度监视器（CPM）的思想，用贝叶斯跟踪模型自信度的变化，防止低置信度的中间结论被后续步骤当作高置信信号使用，尤其在解释生成环节防止自欺欺人的“自信幻觉”。
- 可配置阈值与业务风险对齐：CHARM各组件阈值可按业务域校准，例如搜索Query改写阶段可适度降低NLI阈值以提升召回，而合规内容生成则可收紧阈值，并启用流水线回滚（PRR）确保最终输出基于正确上下文。
动机：多步代理RAG系统在复杂推理任务中表现突出，但面临一种现行检测方法系统盲区：级联幻觉——早期阶段的小错误经多次推理传播放大，最终输出内在逻辑自洽却与事实不符。现有单步幻觉检测（如SelfCheckGPT、RAGAS）只关注终端输出或单次检索，无法捕捉跨阶段错误累积，导致LLM自修正亦因确认偏差而失效。
方法关键点：
- 形式化四种级联类型：检索级联（错误文档被检索）、推理级联（正确检索但错误推断）、上下文污染级联（恶意外部数据注入）、置信度膨胀级联（低置信结果被后续当作高置信）。
- CHARM框架：四个即插即用的检测组件并行运行在标准流水线之上，无需替换原有架构：
- SFV（阶段级事实验证）：用交叉编码器判断每步中间输出是否由原始证据蕴含。
- CSCT（跨阶段一致性跟踪）：基于嵌入余弦相似度监控全流水线的语义漂移。
- CPM（置信度传播监视器）：贝叶斯更新模型自信度，发现异常的置信上升。
- CRT（级联解决触发器）：加权聚合三个信号（0.4/0.4/0.2），超阈值即中断流水线并激活四种缓解策略：重新检索（CRR）、阶段置信门槛（SCT）、并行验证代理（PVA）、流水线回滚（PRR）。
关键实验与结果：
- 在HotpotQA、MuSiQue、2WikiMultiHopQA及自建对抗数据集上，通过GPT-4o Agent流水线注入级联错误进行评估。
- 对比无检测、SelfCheckGPT、RAGAS、LLM自修正等基线。
- CHARM实现89.4%级联检测率（CDR），仅5.3%假阳性，错误传播减少82.1%，平均检测阶段2.1（即早早截断），每阶段开销仅215ms。消融实验证明各组件均有实质贡献。
- PVA缓解成功率高达95.2%，CRR达88.4%，提供高、低资源的灵活选择。
核心价值：CHARM证明，在不改变既有Agent流水线的前提下，通过模块化的跨阶段语义与置信度监控，可有效阻断级联幻觉，为生产环境代理AI提供轻量、可解释、可配置的可靠性方案。