#NLI

3 篇

Trustworthy RAG: An Evaluation Agent for Detecting Misinformation and Knowledge Poisoning in Generative AI Systems

可信 RAG：检测生成式 AI 系统中错误信息与知识中毒的评估代理

🧭 RAG 评估 · 知识中毒检测

Tampere University

用 NLI 与加权中毒信号构建生成前评估代理，Trust Index 在 TruthfulQA 上达 91% 准确率和 100% 精确率

📌 工作参考价值（4 点）

在电商/广告/搜索 RAG 场景中，检索到的商品信息、商家文案可能被恶意污染，可把 NLI 事实校验 + 多信号加权评分做成生成前 guardrail，先丢弃低 Trust Index 的检索块，降低事实错误与合规风险。
采用中间件/Agent 形式实现，不改 LLM 主干，适合线上生成式推荐/客服 Agent 的风险拦截；但阈值必须按业务领域和生成风格单独校准，不要直接跨域复用，FEVER 结果表明跨数据集泛化需要 domain-specific calibration。
对指令注入类攻击，该方案召回高且易阻断；对实体替换、语义弱化等 subtle poisoning 仍难检测，电商场景应额外补充商品属性一致性校验或细粒度事实比对。
五信号检测器 + relevance-weighted aggregation + 高污染非线性阻尼可工程化为特征打分模块，适合作为检索后、生成前的风控层，优先处理高风险 query 和长尾商品知识。

RAG | 2026-08-21 | cs.IR | score 6/10

MIRAGE：无需训练的模型无关防御，抵抗检索增强生成中的错误信息污染

🧭 RAG 错误信息防御与事实性恢复

Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) · INSAIT, Sofia University “St. Kliment Ohridski”

提出一种训练无关、模型无关的防御方法，通过跨文档声明图和多源一致性门控恢复RAG事实性

📌 工作参考价值（4 点）

在电商搜索/推荐系统里，若用 RAG 增强物品描述或评论摘要，可借鉴 MIRAGE 的多源一致性验证：对多路召回（不同数据库、不同站点）抽取原子声明，用 NLI 构建声明图，仅保留多文档支持的声明，减少单品描述中的虚假信息。
面向 Agent 系统中检索知识冲突的应对：当检索到的证据相互矛盾时，可以设置“防御门”退回参数化回答或拒答，避免 Agent 被污染信息误导，提升决策可靠性。
污染检测的工程化思路：定义最小编辑的污染类型（如明确错误、矛盾、误导、捏造），可用于线上 A/B 测试或离线评测，量化检索或生成环节对输入噪声的鲁棒性。
无需训练、模型无关的设计使其能即插即用到现有 RAG pipeline，适合快速迭代的工业场景，无需重训练或更换生成模型。

RAG | 2026-07-06 | cs.CL | score 7/10

医学检查器可训练性诊断：信号崩溃与奖励黑客

🧭 医学RAG · 检查器引导的强化学习 ★ 深度解读

University of Pittsburgh

揭示NLI检查器在RL训练中的输出分布而非准确率决定梯度可用性，中等信号优于强信号并避免奖励黑客

📌 工作参考价值（4 点）

RAG | 2026-05-25 | cs.CL | score 8/10