语言模型何时该弃权：策略学习与校准答案选择
🧭 LLM 弃权策略与答案选择校准
CICATA Qro., Instituto Politécnico Nacional, México · Facultad de Informática, Universidad Autónoma de Querétaro, México
在 Qwen3-14B 事实问答上，独立答案选择器比模型置信度过滤显著提升效用，但跨数据集可靠弃权仍未解决
📌 工作参考价值（4 点）
- 在业务中若想让 LLM 客服/导购助手“不确定时闭嘴”，可以优先训练一个独立的答案选择器（用模型置信度、问题难度等特征），而不是直接微调生成策略；论文显示选择器比直接对模型概率做阈值过滤更稳定。
- 奖励设计要显式惩罚错误答案，避免只用正确率：若错误和弃权得分相同，模型会倾向乱猜；引入较大错误惩罚能改变弃权行为。
- 上线前务必在目标分布上重新校准：论文中 TriviaQA 有效的方法在 NQ-Open 上仍低于“全部弃权”，说明弃权策略跨数据域泛化差，不能拿一个公开基准的阈值直接用于电商/广告流量。
- 对推荐/生成式场景，可以为每个生成结果同时输出 confidence 或单独跑一个弃权打分器，只展示高于阈值的推荐理由、商品知识回答，降低事实错误带来的负面影响。
短视频事实核查中最小充分证据的识别基准与框架
🧭 多模态事实核查 · 证据充分性选择
The University of Sydney
提出基于证据充分性的短视频核查方法，用16%证据达到与全量证据相当的准确率，并显式输出“证据不足”
📌 工作参考价值（4 点）
- 充分性驱动的增量证据检索：在 RAG 或 Agent 系统中，不必一次性加载全量文档，可借鉴其贪心搜索：每次选择最可能提升信心的证据，直到达到充分性阈值即停止，可显著降低 token 成本和上下文噪声，尤其适合实时性要求高的搜索推荐场景。
- 显式弃权机制：当证据候选池耗尽仍达不到充分性时输出“insufficient”，避免模型硬给结论。推荐系统可对低置信度的生成结果（如商品推荐理由、广告文案）增加弃权分支，触发补充数据或转人工，减少幻觉风险。
- 两层验证架构分离内部一致性与外部事实性：先验证视频/商品页面内部信息一致性，再用外部知识做事实判定，能提升生成内容的可信度。例如电商直播间商品描述核验：先比对主播口播与商品详情页，再检索外部标准或百科验证功效。
- 多模态证据选择思路：将视觉帧、语音转录、外部网页统一作为证据单元，按充分性而非相关性选择，对多模态搜索或直播内容审核有直接参考价值。
多跳检索可预测失效：分数分布置信度评分与弃权
🧭 RAG 多跳检索 · 置信度评分与弃权 ★ 深度解读
提出基于检索分数分布特征的轻量级置信度评分RCS，实现多跳RAG的校准弃权，降低高置信错误率
📌 工作参考价值（4 点）
- 利用检索分数分布特征（top-k最大分数、margin、lift、top3均值、熵）构建零额外LLM推理的置信度评分RCS，可在电商搜索/推荐召回后实时判断结果可信度（<1ms），对低置信query触发精排兜底或人工介入，避免高置信错误。
- 定义CWAR并采用弃权策略：在覆盖率-准确率曲线上根据业务目标选择阈值，可在规定错误率下最大化自动回答覆盖率，适合电商导购Agent中控制高成本错误。
- 特征互补性结论：不同领域的数据集中主导置信度特征不同（如query长度 vs hop-1分数集中度），提示我们不要依赖单一检索分数阈值，应使用多特征逻辑回归融合，增强跨场景稳健性。
- 跨域迁移性：该置信度模型跨数据集迁移仅损失0.5pp AUC，说明这些结构性特征领域无关，电商多品类场景可通过少量标注数据训练得到通用置信度模型，降低标注成本。
弃权与噪声过滤：Softmax 注意力的两个缺失原语
🧭 注意力机制原语 · 模型训练改进
St. John Fisher University
显式加入弃权(sink logit)与值门控噪声过滤，两者结合在10M-350M匹配模型中均优于softmax基线
📌 工作参考价值（4 点）
- 若在电商搜索/推荐中自研或微调 Transformer 排序模型（如 LLM4Rec、行为序列建模），可直接在 attention 中加入 per-head sink logit 实现 abstention，几乎零参数且兼容 KV cache，适合长序列中忽略无关历史行为。
- 在用户行为序列包含大量噪声（点击噪声、误触、跨域行为）时，对 value 侧加可学习 gate 过滤 residual stream 中的叠加特征干扰；模型规模越大，该噪声过滤收益越明显，10M→350M 趋势提示大规模 CTR/CVR 模型优先考虑 value gating。
- 两种原语有互补盲区，建议同时加入而非只选一种；在 Agent 多步推理或 RAG 检索上下文拼接时，attention 可能被迫把注意力质量分配给无关 token，sink logit 可以让头显式弃权，减少错误信息聚合。
- 若用 LoRA 微调已有 LLM 推荐/Agent 模型，这些改动不增加缓存开销，可作为结构正则化 trick 加在 attention 子层，注意 warmup 和初始门控设置。
拒绝、分解、刷新：面向闭环 AI 评估的主张安全协议
🧭 AI 评估协议 · 主张安全
Blossom AI
提出由 Refuse、Decompose、Refresh 构成的评估协议，将结论限定在有观测支持的范围内，并在闭环模拟器中实证
📌 工作参考价值（4 点）
- 把评估流程从单一 PASS/FAIL 改为三阶段：先判断参考流/匹配比较是否有足够支持，再按组件和流量段分解报告，最后对漂移告警先重算参考而非直接报障；适合推荐系统 A/B 实验与离线评估，避免整体指标提升掩盖不可观测组件失败。
- 对闭环推荐/Agent 系统，策略决定曝光和状态访问，许多失败不会留下可测痕迹；建议记录未覆盖组件与弃权单元，将“未观测”显式作为结果一部分，而不是当作“无故障”。可采用预注册保留集与 aggregate-only 监控，降低选择性报告风险。
- 零故障场景用精确二项上限报告不确定性（如 0/20 时单边 95% 上限 0.1391），在安全/风控相关评估中展示 CI 而非点估计，避免过度自信。
- 漂移告警处理可迁移：当线上特征分布或请求类型变化时，先让参考基线失效并重算，而不是直接判定模型故障，减少电商大促等非平稳时期的误报。
选择是检索，拒绝不是：70个韩英动作的设备端工具路由
🧭 设备端工具路由 · 检索与拒绝分离
Redrob
拆分工具路由中的“选择”与“拒绝”决策，证明选择可用检索器、拒绝需神经编码器，设备端可省去大模型
📌 工作参考价值（4 点）
- 在设备端或低延迟 Agent 场景，把工具选择与“是否拒绝/委托”拆成两阶段：先用轻量检索器（如字符 3-gram BM25）选出候选动作，再用一个冻结编码器（如 multilingual-e5）做 out-of-catalog 判断，避免让大模型同时做两件事带来的延迟和内存开销。
- 如果业务中有“本地动作目录”或固定工具的 Agent 路由，可先基于 lexical overlap 做召回：对于规范表达或关键词命中的请求，BM25 几乎全对；转述/同义表达则丢得较多，可限制候选集到 top-7 再做重排或接一个小型语义判别器，性价比高于直接用大模型。
- 对“是否该本地处理还是委托给远端/大模型”的决策，不要依赖分类器在检索得分特征上做阈值：论文表明这样做 AUC 上限仅 0.697，而冻结编码器的语义得分可达 0.806。建议直接复用轻量 sentence encoder，成本低且能显著减少误委托。
- 工程落地时注意：neural ranker 虽然所有质量指标更好，但常因延迟和内存被拒。若需在端上引入语义模型，优先考虑量化、蒸馏或小模型，并只用于 abstention 阶段，而非全量排序。
基于能力门控的 LLM 与先验融合预测
🧭 LLM 预测融合与门控校准
University of Illinois Urbana-Champaign
提出 competence gate 依据边际价值选择性融合 LLM 与外部先验，显著降低 Brier 损失
📌 工作参考价值（4 点）
- 在多信号融合场景（如商品 CTR 预估中融合 LLM 打分与传统模型打分），不要只看单个模型 AUC，改用历史 outcome 估计每个源的边际贡献（例如增量 NDCG 或 Brier），并按领域/场景学习一组 gate 权重，对不确定的领域权重向全局权重 shrinkage，避免小样本过拟合。
- 当外部先验信号较强（如成熟推荐系统、市场预测）时，可让 gate 学会 defer，而非强制融合；在 baseline 很强时 LLM 融合可能无显著收益，可提前做 ablation/显著性检验决定是否上线复杂的混合模块。
- 论文发现 verbal confidence（模型自己说“置信度”）不能可靠判断模型何时优于外部预测，因此别用 LLM 输出的“信心分”作为路由/采纳依据；应基于可观测结果（如成交、点击后的 label）回估 competence，驱动 abstention 或降权。
- 融合后对 pooled forecast 做 recalibration（如 temperature scaling / isotonic regression）是低成本的稳定提升，尤其在各源校准不一致时；部署时可作为标准后处理。
黑盒大语言模型的改进置信度估计
🧭 LLM 不确定性量化与部署安全
Layer 6 AI · TD Insurance
利用评估数据集训练简单分类器，以现有 UQ 分数和相似查询正确性为特征，提升黑盒 LLM 置信度估计。
📌 工作参考价值（3 点）
- 在电商搜索/推荐的 LLM 应用（如 query 改写、商品卖点生成、客服自动回复）中，可在部署前利用积累的标注反馈数据（正确/错误）训练一个轻量置信度分类器，将现有 UQ 分数（如 verbalized confidence、语义熵）作为输入特征，低成本实现自动审核与风险拦截。
- 相似查询的正确性作为特征，可通过 kNN 在已有标注数据中快速检索得到，适合线上实时服务；不依赖模型内部 logits 或白盒访问，可直接用于 OpenAI、Claude 等黑盒 API。
- 结论：不要只依赖单一零样本 UQ 分数，利用少量标注数据做特征融合能稳定提升置信度区分能力，适合作为 Agent 系统中 LLM 输出的 guardrail。
永不碰数字：面向事实型答案 AI 系统的结构化弃权架构
🧭 LLM 可靠性 · 结构化弃权
用确定性内核与生成外壳解耦，生成组件只影响问题解释不碰返回值，无法表达请求直接拒绝，从结构上避免 LLM 事实性幻觉
📌 工作参考价值（4 点）
- 在电商/广告的自然语言数据问数、指标看板、运营机器人中，把“数值/聚合结果”与“自然语言解释”拆开：生成模块只负责 paraphrase、确认语义，数值由确定性 SQL/指标内核计算，避免 fluent wrong answer。
- 建立 bounded set of answerable question shapes，把 LLM 的输入映射到有限查询模板；不能映射的请求直接拒绝或让用户重新表述，而不是让 LLM 兜底生成近似答案，尤其适用客服、价格/库存/预算等高风险查询。
- Agent 系统中可复用到工具调用与策略动作：LLM 只负责路由、生成确认问题和措辞，不参与最终执行参数计算；对写操作/策略参数使用确定性决策层，降低工具误用与事实性污染。
- 五决策配方可作为 human-in-the-loop confirmation 设计参考：在展示数值前先让用户确认问题语义，把不可结构化表达的需求排除在计算之前，提升生产系统可信度。
YOPO：单次前向同时完成回答与弃答的冻结语言模型系统
🧭 LLM 推理 · 激活 steering / 弃答门控 ★ 深度解读
Georgia Institute of Technology · Columbia University · University of Wisconsin–Madison · University of Texas at Austin
在残差流同一前向里融合条件 steering 与零样本充分性门控，用无标签重建消除写读干扰
📌 工作参考价值（4 点）
- 在 RAG / 问答式推荐 / Agent 工具调用里，把“不确定就弃答或转人工”做成残差流上的零样本方向 d（sufficient 与 insufficient 的 diff-of-means），不要训练判别器；跨域阈值用目标域无标签样本的中位数校准，迁移稳定性更好。
- 如果要在同一前向 pass 里同时做生成/改写和不确定性门控，注意 write 会污染 read 信号。可以学一个轻量重建 map M：只做 steered→clean 的 MSE 重建，不需要任何弃答标签，就能恢复大部分 AUROC；小模型上尤其划算。
- 算力允许时，one-pass 里加监督 BCE boost 能在 in-domain 超过 two-pass clean read；但若业务有明显 domain shift 或小模型，优先用 label-free repair，避免 trained abstention 的跨域崩塌。
- 若用 steering / LoRA 做 query 改写、item 表示增强，注意训练目标会以 write 自由度换来跨域泛化损失：read-only < constrained write < free write。弃答/不确定性信号应放在 read head，不要写进同一个 write vector。
TRAPSBench：视觉语言模型编码了认知克制却无法表达
🧭 多模态 VLM 视觉不确定性下的克制与评估
Meta Superintelligence Labs
VLM 内部能识别证据不足但输出不克制；提出 TRAPSBench 和 PECS，定位表达瓶颈
📌 工作参考价值（4 点）
- 在电商/广告的视觉智能体（商品图审核、直播切片理解、图文问答）中，模型对图像遮挡/模糊常过度自信；不要只靠 prompt 或 logit 置信度，可在 hidden states 上训轻量 probe 识别“不可判定”，作为路由/兜底信号。
- 评估不能只看准确率：可借鉴 PECS 构造 matched pairs（同一 case 只改一个关键帧/遮挡物/文字），要求可判定时答对、不可判定时弃权；在线上可把拒答率与人工差评率、客诉率挂钩。
- 文本不确定性比视觉不确定性更易被识别；若 Agent 含多模态输入，视觉分支应单独做 epistemic gate，避免文本线索足够时掩盖视觉证据缺失。
- 工程化干预放在 output stage 更划算（单层 steering / refusal head / adapter），因为模型内部已有可解码的答案性信息，无需从头训练大模型；这对搜索推荐中的多模态生成式模型做安全拒答也可复用。
选择性问答的渐近风险校准
🧭 LLM 不确定性校准与选择性拒答
Zhangjiang University · Ibaraki University
模型无关的事后校准框架，为LLM选择性问答提供渐近错误率控制，无需训练即可搭配任意不确定性估计器
📌 工作参考价值（4 点）
- 在电商客服、商品问答、搜索摘要等场景，当LLM输出需要保障准确率时，可借鉴A-CRC-QA的事后校准思路，在验证集上对不确定性分数进行单调化校准，获得满足目标错误率的动态拒答阈值，而不是拍脑袋固定阈值。
- 方法模型无关、无需训练，可与多种不确定性估计（如语义一致性、perplexity、self-consistency）结合，非常适合快速集成到现有LLM服务中，以最小成本提高输出可靠性。
- 对于推荐/搜索中的Agent决策（如自动生成推荐解释、选品理由），可应用类似风险控制，对Agent最终输出进行选择性过滤，降低向用户展示错误信息的概率，并量化控制风险。
- 注意方法针对渐近控制，工程上需积累足够校准集并定期更新阈值，以应对数据分布漂移。
LLM拒答的双轴分解：答案正确性与问题可回答性
🧭 LLM选择性回答的双轴风险控制
City St George’s, University of London
揭示LLM拒答中答案正确性和问题可回答性是两个独立维度，提出用隐藏探针和双阈值策略分别控制风险
📌 工作参考价值（4 点）
- 在拒答模块中分离“答案正确性”与“问题可回答性”两个信号，而非共享单一置信度；可对隐藏状态训练线性探针检测不可回答问题（AUROC>0.69），作为路由组件前置过滤不应答查询。
- 避免直接使用LLM自我前提检查，其错误挑战率高达57%；改用探针先筛选可疑问题再执行检查，可三倍提升挑战精度，适合电商Agent中拒答虚假前提提问（如“这款已下架商品为何涨价？”）。
- 采用双阈值校准框架：为错误回答率和不可回答回答率设定独立预算，在独立验证集上计算二项式界获得统计保障，满足业务风险可控要求（如信贷推荐咨询的准确性和合规拒答）。
- 模型内部可回答性表示随规模稳定，但输出置信度不反映，因此不必依赖模型自评；可将探针部署为轻量级可插拔组件，适配多模型。