幻觉感知的多智能体 RAG：用内部注意力信号做奖励塑形
🧭 多智能体 RAG · 注意力奖励塑形 ★ 深度解读
University of Technology Sydney · University of Auckland
用 TruthfulQA 校准的注意力头范数 critic 作为幻觉风险奖励，联合优化多智能体 RAG 的 query 规划、证据选择和答案生成，同时提升任务指标并降低幻觉率
📌 工作参考价值（4 点）
- 将生成链路拆成 query planner / evidence selector / answer generator 三个 role-specific LoRA adapter，共享 frozen backbone，用统一 terminal reward 做 cooperative PPO；电商问答、商品摘要、广告文案生成等场景可以用较低训练成本同时优化多个子策略。
- 用 attention head norms 训练轻量离线 critic（TruthfulQA 校准）作为 hallucination 风险 reward shaping 项，无需每次 rollout 调用外部 LLM judge，工程开销小，且可跨任务迁移到业务数据，不必为每个业务域标幻觉标签。
- 保持 backbone 和 critic 冻结，只更新低秩 adapter，避免奖励函数漂移；先监督 warm start 再 RL，降低探索难度；风险惩罚权重 λ 需要小量（论文用 0.08）平衡 task reward 与风险信号。
- 评估时不要只看 EM/F1，可引入 AHR（Answer Hallucination Rate）分离“答案重叠”与“证据忠实度”；内部信号适合作为弱监督辅助，而非替代任务奖励。
GraphRAG 自动化富集分析：高效多数据库 ORA 提取与生物解释
🧭 GraphRAG 加速 ORA 并提升解释忠实度
Graduate School of Information Science and Technology, The University of Osaka, Japan · The First Affiliated Hospital of China Medical University, China
将多基因集库建成术语-基因知识图谱，用紧凑证据子图驱动 LLM 生成可溯源解释，查询提速 37 倍且忠实度最高 0.90
📌 工作参考价值（4 点）
- 多源标签整合：把商品属性、类目、场景、用户标签建成统一实体关系图，用共享实体连接分散的标签体系，便于跨源召回和解释。
- 证据子图检索：给 LLM 提供紧凑连通子图而非平铺 top-k 文档，可降低上下文噪音并提升推荐理由/广告文案生成的事实一致性。
- claim-level 忠实度评估：逐条校验生成声明是否被图谱边路径支撑，可作为 RAG/Agent 输出质量监控指标，适合落在 pipeline 里自动打分。
- 查询加速：图式预计算+子图检索相比逐库查询显著提速，可用于实时推荐解释或 Agent 工具检索的缓存设计。
检索增强生成（RAG）的组合性评估
🧭 RAG 流水线组合评估
IBM · Weizmann Institute of Science
系统评估RAG各阶段技术组合，发现孤立增益不可叠加且最优组合随语料规模变化
📌 工作参考价值（4 点）
- 在电商/Agent的RAG知识库或购物问答中，不要只按单模块离线指标选型：三种检索技术孤立预测+47%联合提升，组合后仅+17%，单点提分可能被其他阶段抵消。
- 同时跟踪检索质量（如NDCG@10）和最终忠实度/业务指标；组件对两者增益方向可能相反，避免为召回率牺牲生成质量。
- 语料规模从小规模实验到全量商品库/百万级文档时，必须重新验证最优组合；小语料最优配置不一定在大语料保持，应做分规模子集测试。
- 借鉴LASAGNA思路搭建内部RAG实验框架，固定其他阶段做单变量替换，支持不同语料规模与多指标报告，沉淀可复现的pipeline配置。
基于子序列关联过滤与广度感知选择的LLM查询扩展幻觉词抑制
🧭 LLM查询扩展幻觉过滤 ★ 深度解读
Indian Institute of Technology (BHU), Varanasi, India · University College London, London, UK · Halmstad University, Halmstad, Sweden
用跨上下文可再现性与语料支撑度识别幻觉term，在nDCG@10无损下将注入query的无支撑词减少85%-93%
📌 工作参考价值（5 点）
- 可直接复用 SAFE-QE 的过滤评分：对 LLM 生成的候选扩展词/phrase，用「随机扰动 prompt 后的重现率 ρ(t)」+「与 top-k 相关文档的最大支持度 γ(t)」做加权，公式 s(t)=γ(t)-λρ(t)(1-γ(t))+μfreq(t)。在电商搜索 query 改写、广告关键词扩展中，能有效识别并降权「无论上下文都被生成但无商品/文档支撑」的幻觉词。
- 词选择不要固定 top-k，改为带 grounding 约束的 budget 最大覆盖问题：用贪心近似（1-1/e）从候选词里选最多覆盖伪相关文档/商品 faceting 的子集，避免多个高分词重复覆盖同一意图。电商多意图 query（如“苹果”）尤其需要这种 breadth-aware selection。
- 稳定性过滤很便宜：对 LLM 采样 N 次，只保留 freq(t)≥θ 的稳定 term，能额外过滤掉少量采样中出现的幻觉词。工程上可简单并行多次采样，几乎不增加线上复杂度。
- 建立 HETR 监控指标：在业务评估里同时看「幻觉率」和「幻觉负载＝HETR×注入词数」，不要只看率；强 retriever / dense retrieval 下生成式扩展收益小，但幻觉过滤的收益最大，这时候尤其值得上线。
- 结论可迁移：一个 0.5B 小生成器 + 过滤器，faithfulness 可以超过 9B HyDE，说明过滤机制比生成器规模更重要；训练无关、检索器无关，适合低成本接入已有 generate-then-expand 流程。但注意 grounding 阈值 τg 需要按 retriever 分别标定（SPLADE 下的伪相关集合会让更多候选通过阈值）。
让LLM说出它们所想：测量与改进思维链-可解释性对齐
🧭 LLM推理可解释性对齐与后训练
New York University · NYU Shanghai
提出CIA度量并后训练联合优化任务精度与参数忠实度，提升LLM思维链与内部计算一致性
📌 工作参考价值（4 点）
- 在电商/广告中若使用LLM生成推荐理由、商品对比或竞价策略解释，可借鉴CIA思路：用线性探针或干预实验验证模型声称的决策依据是否真的体现在内部表征中，避免“编理由”导致合规与信任风险。
- 将“解释与内部决策信号一致性”加入奖励函数（例如对内部探针判断关键token或特征重要性与CoT声称的一致性打分），与任务准确率联合优化，可能在不牺牲效果的情况下提升解释可信度。
- 建立CoT忠实度审计机制：定期对线上Agent/推荐解释链路抽样，用可解释性工具计算CIA分数，监控模型版本更新或数据漂移后推理行为是否失真，尤其适用于需要审计的广告排序和价格推荐场景。
- 注意落地成本：需要额外训练探针或标注内部策略，适合高风险、强监管或需向用户出具理由的场景；中小业务可先复用开源度量工具做离线评估。
在推测式检索增强生成中保证忠实证据提取
🧭 RAG 忠实证据提取与解码约束
Université de Toulouse - IRIT UMR 5505 · Airbus Protect
提出CHyD，将投机解码改造为强制约束解码，保证引用片段逐字来自检索文档，技术领域准确率接近完美
📌 工作参考价值（4 点）
- 在电商/广告合规文案、商品政策解释、客服问答等场景，需要引用原文保证信息准确时，可以使用硬约束解码限制生成内容必须来自检索到的商品详情、条款或文档 span，从机制上避免幻觉。
- 将 speculative decoding 的目标从加速改为 faithfulness 验证，思路可迁移：用草稿模型提出候选 span，再用约束目标模型验证是否逐字匹配，既保留一定效率又保证忠实。
- 对于需要精确抽取的任务（如商品属性提取、广告审核依据、搜索中的摘要引用），优先选择 constrained decoding 而非依赖模型自觉引用，能把抽取准确率从低于 40% 提升到接近 100%，代价是牺牲部分流畅性，适合准确性优先场景。
- 该思路可以用于 Agent 的检索增强工具：当 Agent 需要引用外部知识回答时，约束其输出为检索结果的连续片段，可显著降低事实性错误和不可验证引用。
个性化幻觉：LLM 如何捏造用户画像与自我监测的误导
🧭 个性化LLM的忠实度评估与自监测缺陷
LIGHTSPEED · The Hong Kong University of Science and Technology
揭示所有大模型在个性化任务中系统性过度推理（35-49%），且自监测排名与真实忠实度负相关
📌 工作参考价值（4 点）
- 在电商推荐、广告定向等依赖 LLM 构建用户画像的场景，必须警惕过度推理（35%–49% 的声明是凭空捏造的），应引入独立外部验证机制（如类似 MirageBench 的评判器）而非依赖模型自报。
- 选择个性化模型时，不可相信模型自述的忠实度，自监测排名与真实虚构率负相关（ρ=-0.60），需建立外部测试基准评估真实过度推理率。
- 多轮交互中用户属性会线性累积且极少修正，可能导致画像严重偏离，在对话式推荐或 Agent 记忆系统中需加入定期“画像审计”或遗忘机制。
- 过度推理具有强任务依赖性（范围27%-59%），对不同业务模块（如文案生成 vs 用户标签推断）应分开评估并设置差异化阈值。
从合理性到可操作性：LLM自我解释的立场观点
🧭 LLM 自我解释的可信度与可操作性
University of Utrecht · National Police Lab AI, Netherlands Police · Scuola Normale Superiore · University of Pisa
区分自我解释的合理性、忠实度与可操作性，提出兼顾三者的评估框架
📌 工作参考价值（4 点）
- 在推荐/搜索场景中，用 LLM 生成推荐理由或查询解释时，不能仅满足于表面合理（plausible），需要额外设计忠实度（faithfulness）检测机制，例如核对解释中的关键事实是否与模型内部注意力或决策路径一致。
- 将解释的评估从「人对合理性的主观判断」拓展到「下游任务可操作性」：比如将解释作为 Agent 下一步动作的依据（如触发退款、调整排序），通过解释能否准确引导后续决策来反向验证。
- 工程实现上，可构建「解释-动作闭环」：记录解释中的关键声明，用规则或小模型自动校验其与系统实际决策逻辑的匹配度，对不一致的做标记或抑制。
- 对于电商搜索的查询推荐（QueryRec），LLM 给出的推荐理由（如「为您推荐‘蓝牙耳机’因为近期浏览过」）需确保忠实反映用户行为序列，避免生成虚构理由，可将用户日志与解释对比做线上校验。
长度惩罚让思维链更不易监控
🧭 思维链压缩导致可监督性下降
带长度惩罚的强化学习压缩思维链时优先移除影响答案的线索，降低可监控性
📌 工作参考价值（4 点）
- 若用 LLM 生成推荐理由或解释，为省 token 进行长度压缩可能掩盖真实决策依据，增加审核与合规风险。
- 在 Agent 多步推理中，压缩中间步骤虽提升效率，但可能丢失对行为可追溯性，需额外监控机制。
- 评估压缩效果时不应只看 token 数和准确率，需加入忠实度或可监控性指标，防止模型被偏见利用而无法察觉。
- 长度归一化比较显示，选择性删除内容而非随机缩短是监控性下降的主因，可尝试在压缩中保留关键线索或事后审计。
评估LLM生成元数据在RDF数据集搜索中的忠实性与可检索性
🧭 生成式元数据评估 · 检索效果与忠实性权衡
University of Southern Denmark
无约束LLM改写元数据检索效果最好但忠实性最差，基于概貌的改写提供最佳平衡
📌 工作参考价值（4 点）
- 在商品搜索中，用LLM改写标题/描述可提升召回，但需评估忠实性，避免描述与商品实际属性不符，建议仿照本文设计联合评估指标。
- 可采用基于概貌（profile-grounded）的生成策略，例如利用商品类目、属性或用户画像作为约束，在不牺牲太多检索提升的前提下保证内容可信度。
- 对合成元数据设置溯源与可解释性机制，例如关联原始字段或提供依据摘要，防止幻觉内容误导搜索排序。
- 本文的评估框架（同时考量检索效果与生成忠实性）可迁移至推荐系统的特征工程或内容补全场景，用于控制LLM生成特征的风险。
OpenBioRQ：面向智能体的未解决生物医学研究问题基准
🧭 智能体工具调用评估 · 忠实性探针
Upstage AI
首个未解决问题与工具调用结合的生物医学Agent基准，揭示~16%引用错误及高难点上的工具弃用崩溃
📌 工作参考价值（4 点）
- 在电商客服/推荐解释Agent中，采用无标准答案的查询评测工具调用忠实性，防止模型记忆答案而跳过检索
- 用经验性困难度锚定（参考模型集体失败的问题）构建高难度测试集，有效暴露工具弃用现象
- 引入冻结的试题检查清单（checklist）大幅提升评估一致性（Spearman从0.35→0.82），可迁移至内部评测流程
- 在最难问题上强制保留工具调用或设置工具使用下限，避免Agent过早放弃工具，保障回答可靠性
从有机数据生成预训练 tokens 以突破数据墙
🧭 数据受限下合成数据生成 ★ 深度解读
Language Technologies Institute, Carnegie Mellon University · Xlue
SYNPRO 通过忠实且模型感知的合成数据生成，让 LLM 从有限有机数据中榨取更多有效 token，实现最高 5.2 倍重复训练的效率提升。
📌 工作参考价值（4 点）
- 用 faithfulness 奖励约束合成数据的分布一致性：在电商推荐场景中，对用户行为序列（如点击流）做 rephrase 或 reformat 生成训练样本时，必须强制生成内容忠于原始序列，避免引入幻觉或知识蒸馏，否则会导致分布坍缩，损害长期效果。
- 模型感知的数据生成：借鉴 SYNPRO 的数据影响奖励，在 Agent 多智体训练或生成式推荐中，可以动态评估当前模型在哪些样本上损失下降较大，引导数据生成器朝着模型当前不擅长的内容倾斜，类似在线课程学习，持续突破性能瓶颈。
- 数据操作组合：rephrase + reformat：Reformat 将源数据转化为 QA、对比分析、推理链条等任务形式，可迁移至电商搜索、推荐解释生成等场景；将用户序列或商品描述重新格式化为结构化常识推理段落，能帮助模型学到更深层的语义关联。
- 多轮迭代合成与累积合并：工作证实将历次生成的数据一起混合训练比只用最新一批更有效，工程实现上可以建立合成数据池，配合模型 checkpoint 迭代扩增，最大化有限原始数据的价值。