DeclineCraft：联合衡量检索与参数知识的 RAG 弃答基准
🧭 RAG 弃答能力基准与行为分析
Purdue University
提出 DeclineCraft 基准，度量模型在检索与参数知识均不足时正确弃答的能力，揭示迭代 RAG 等增强策略反而降低弃答率。
📌 工作参考价值（4 点）
- 在电商客服/商品咨询等 RAG 场景中，不要盲目堆叠迭代检索、query rewriting、reranking 等“增强”组件：它们可能让模型对无法回答的问题过度自信，降低正确弃答率。对高频未知问题（如新商品属性、未收录政策），应显式加入弃答判定或置信度阈值。
- 单轮检索已能提升正确弃答率（38/40 配置），说明即使检索不到确切答案，提供相关但不完整的上下文也能帮助模型识别知识缺口，而非直接依赖参数记忆编造。在知识截止后新商品/新政策问答中，可先检索同类商品/旧政策作为参照。
- 思考模式（thinking）会显著降低弃答率，但常从“承认不确定”转为“否定前提”，这对安全敏感场景是隐患。实际部署时不宜只用 CoT 自我评估，应设置独立的 abstention 分类器或规则。
- 模型规模与弃答率无显著关联，只与作答准确率正相关。因此不能指望换更大模型解决拒答问题，需针对弃答行为做专门训练或 prompt 设计。
搜索引擎从不说“不”：冻结 Agent 面对检索工具拒答时的反应
🧭 搜索 Agent · 工具侧拒答机制 ★ 深度解读
工具侧返回 NULL 拒答信号，让顺从 Agent 弃答率提升 243%，并给出按 recall 定价的收益曲线
📌 工作参考价值（5 点）
- 在电商搜索/导购 Agent 的检索出口加“拒答门”，不改模型和检索栈：对 Qwen3-8B/32B、Haiku 这类顺从模型，一句 NULL_RESULT + 解释就能把不可答问题的弃答率从 24% 拉到 84%、幻觉率从 65% 降到 10%，且可答准确率不降。
- 拒答 wording 必须放进 observation，不是 system prompt；效果排序 directive > explanation > bare token，soft warning 几乎无效。线上无货/无匹配结果适合写成“没有可靠结果，可能索引没有该信息；请换 query 或回答 unknown”。
- 对闭源强模型（Sonnet/Opus 5.5）工具侧拒答失效，它们更吃 system-prompt 指令（+16 点 vs 工具侧 +2 点）。多模型混合部署时建议按模型家族分别配置拒答策略。
- 真实收益受 miss-detector 的 recall 上限约束：在固定 false-refusal budget 下，弃答收益几乎由触发器 recall 决定。可先用轻量 QPP/交叉编码器，再按 recall-收益曲线判断是否值得上 LLM judge；detector 不行时改 agent 也白搭。
- 用删除黄金段落/答案串构造 index-hole 测试集，比人工标注便宜且边界干净；适合复用到商品知识库 RAG 的不可答样本评估。
CiteGuard-RAG：以验证为中心的证据支撑问答系统
🧭 验证中心RAG架构
Department of Computer Science, Western Michigan University
集成混合检索、引用约束生成、句级grounding验证与单次重生成，在最终交付前决定接受、拒绝或重生成答案
📌 工作参考价值（4 点）
- 在电商客服/商品问答中，可将验证作为独立运行时组件放在检索和最终回答之间，对生成答案做句级引用校验，避免给出无依据的售后政策或参数。
- 混合语义-词汇检索（受控数据集检索准确率99.1%）值得借鉴：商品知识库/店铺政策QA可结合BM25和向量检索，提升证据命中率。
- 单次重生成机制：验证失败时先尝试基于检索证据重新生成，若仍不合格则拒绝回答；适合价格、退换货规则等高合规风险场景，防止误导用户。
- 引用约束生成要求逐句标注来源，便于线上审核和用户信任；可用于广告文案合规检查，确保每句声称都有依据。
你的检索器已经知道：面向RAG检索充分性的分布形状QPP
🧭 RAG检索充分性预测 · 分布形状QPP ★ 深度解读
Department of Mathematics, FNSPE CTU in Prague · Institute of Information Theory and Automation, Czech Academy of Sciences
24个分布形状特征2ms预测RAG检索充分性，AUROC 0.856超过LLM judge 0.649
📌 工作参考价值（4 点）
- 在电商/搜索推荐RAG链路中，可以用检索/召回分数向量的分布形状特征（top1-top2 gap、top-10 std、decay slope、bimodal gap、gap concentration等）构造轻量「检索充分性/置信度」模型，判断top-k是否含可回答结果；无需读商品内容或调用LLM，2ms级在线可自动触发query改写、扩大召回或直接生成答案。
- LLM judge不要单独做置信度，把其分数作为额外特征加入小分类器（Logistic/Ridge/MLP）形成hybrid：在安全关键/对抗query上AUROC更高（SÚJB adversarial-detection 0.954），且误答率从12–16%压到6–7%；若LLM推理已在链路中，这种as-feature组合比单独judge更值得用。
- 多领域/多站点迁移建议用lean特征子集：全量24特征LODO从0.856掉到0.706，而13特征S1-Lean（8分布+5query-surface）恢复到0.719并改善校准；跨域部署优先选lean子集而非全量模型。
- 对无答案/对抗query检测，分数分布形状尤其有效：unanswerable query的top-k分数分布平坦，S1在SÚJB对抗检测AUROC 0.934 vs MaxSim 0.489；可作为推荐系统防冷启动、防误导、防幻觉的置信度开关。
CausalDS：评估数据科学智能体因果推理的合成基准
🧭 因果推理基准 · 数据科学Agent评估
Department of Statistics, University of Michigan
提出通过合成结构因果模型与真实背景故事评估LLM在数据科学管线中的因果推理、工具使用与弃权能力
📌 工作参考价值（4 点）
- 在电商搜索推荐中，可借鉴其合成SCM+观测噪声生成评估数据的方法，构建针对因果推断类A/B测试分析、归因模型的离线评测集，避免使用线上真实数据时的数据泄露与鹦鹉风险。
- 弃权作为第一类评分结果的设计可直接迁移到Agent辅助的数据分析产品中：当置信度不足或信息缺失时，要求Agent主动声明“无法回答”，提升输出可靠性，尤其适用于策略归因、指标异动分析等易出错的场景。
- 联合评估因果推理+编码+工具使用的框架，能用于筛选适合数据科学Agent的LLM，确保其在推荐系统复杂分析（如效果评估、特征因果效应）中既能写出正确的分析代码（如do-calculus实现），又能正确调用pandas、因果库等工具。
- 故事与数据成对生成、覆盖Pearl三层问题的方法，可以启发设计多层级因果问答的评测体系，检验Agent在描述性、预测性、反事实任务上的表现，避免仅关注预测准确率而忽略因果推理深度。
Mem-π：通过学习何时生成与生成什么实现自适应记忆
🧭 Agent记忆系统 · 生成式记忆 ★ 深度解读
ServiceNow AI Research · Mila – Quebec AI Institute · Université de Montréal · Polytechnique Montréal · McGill University
提出生成式记忆框架Mem-π，让记忆模型自主决定何时生成指导与生成什么内容，在多种Agent基准上平均相对提升超20%
📌 工作参考价值（4 点）
- 记忆模块与下游Agent解耦：使用一个独立的小模型（如7B）作为可训练的生成式记忆策略，专注产生任务相关的文本提示，可与任何更强的下游Agent配合，方便工程集成和迭代。
- 离线蒸馏 + 在线自适应两阶段训练：先用历史交互数据做SFT初始化，再利用环境reward做RL微调（GRPO），适合积累了大量交互轨迹的电商推荐或Agent场景，能够将粗经验转化为精确的策略。
- 结构化rollout与决策-内容解耦：强制每组采样包含abstain和generate分支，将优势信号分解为决策优势和内容优势，分别驱动'是否生成'和'生成什么'的学习，避免内容梯度淹没决策信号，可迁移到需要模型主动决定是否执行某个动作的场景。
- 自适应abstention提升效率与鲁棒性：模型在任务简单时主动[ABSTAIN]，避免注入冗余或误导信息；在困难任务上才生成指导，既减少token消耗（实验显示token用量降低31%），又防止检索记忆固有的“复制偏差”，对实时推理的成本敏感型电商Agent很有参考价值。
量化与缓解前沿大语言模型的过早闭合行为
🧭 Eval ★ 深度解读
Stanford University
在医疗场景中，前沿LLM普遍在信息不足时给出不安全答案，安全提示可部分缓解但无法根除