#uncertainty

3 篇

An Analysis of Training-Free Self-Reported Confidence in Language Models

语言模型训练无关自我报告置信度分析

🧭 LLM 置信度估计与校准分析

DreamAI

直接口头置信度是强基线，但自我报告对提示词敏感且自洽性会放大共享误解

📌 工作参考价值（4 点）

在生成推荐理由、广告文案、商品属性或搜索 query 时，可直接用 verbalized confidence 做不确定性初筛，但不要把它当成稳定分数直接做硬阈值路由：同一答案等效重问会带来 0.043–0.084 的分数波动，并翻转 4%–9% 的 0.8 阈值决策。
在需要人工审核的生成内容（如合规文案、事实性描述）上，可以用自报置信度对审核队列排序，优先检查低置信样本；但上线前必须做领域内校准审计，因为基准噪声和提示词差异会明显影响 AUROC。
对 Agent 多智能体投票或自洽性路由要谨慎：三样本一致性在该实验中显著弱于直接口头置信度，而且错误答案也可能获得一致支持，说明共享先验会放大系统性误解，建议引入外部证据或独立校验器。
如果业务依赖 closed model 的 API，无法拿到 token probability，口头置信度仍然是可用的训练无关信号，但需要设计更鲁棒的 elicitation 协议，例如多次采样、多样化提示或校准映射。

Eval | 2026-09-17 | cs.CL | score 6/10

Kalman Delta 网络：不确定性感知的关联记忆

🧭 线性注意力 · 状态空间模型 · 不确定性建模

Department of Computer Science, Yale University

将线性注意力循环记忆重构为线性高斯状态空间模型，用卡尔曼滤波跟踪记忆不确定性并提出可并行扫描近似

📌 工作参考价值（4 点）

用户长期行为序列建模中若采用线性注意力，可借鉴 KDN 的记忆不确定性机制，通过卡尔曼增益自适应控制写入强度，降低噪声行为对稳定兴趣表征的覆盖风险。
Agent 长对话/长程任务的状态维护可引入带置信度的增量写入，根据累积证据决定是否更新记忆，提升记忆稳定性与少样本适应能力。
Diagonal/Isotropic KDN 提供 O(dk)/O(1) 辅助状态并支持并行关联扫描，适合工业级实时推理，可用于构建流式用户兴趣追踪或在线学习模块。
若探索生成式推荐中的 Semantic ID 记忆网络，可参考将记忆更新视为状态估计、用变分推断近似后验的思路，处理不确定性和动态环境。

LLM | 2026-09-06 | HF Daily | score 7/10

LLM推荐的认识论保证：在无真值条件下刻画依赖依据

🧭 决策级LLM推荐可靠性评估

University of South Florida, Muma College of Business · New York University

提出可操作的决策级认识论保证框架，将LLM两两推荐分为四层依赖证书并验证其有效性

📌 工作参考价值（4 点）

在电商/推荐Agent中，对LLM生成的排序或推荐理由进行多轮采样与prompt扰动，统计候选偏好是否稳定；将跨上下文一致的推荐标记为broadly supported，低warrant的推荐降级或仅作参考。
不要依赖模型的verbalized confidence（如“我很有信心”），论文表明epistemic warrant提供不同信息；在线决策中需单独计算决策级稳定性指标，而不是只取输出token概率。
对context-dependent的推荐可触发额外验证，如A/B测试、人工审核或规则兜底；在冷启动或长尾等无ground truth场景，可为每个推荐附上reliance certificate，帮助下游Agent决定是否执行。
在审计面板或管理工具中输出四层warrant标签，便于业务方按风险等级使用LLM推荐，而非依赖全局阈值。

Eval | 2026-09-03 | cs.AI | score 6/10