AI Papers Daily

#self-consistency

4 篇

An Analysis of Training-Free Self-Reported Confidence in Language Models

语言模型训练无关自我报告置信度分析

🧭 LLM 置信度估计与校准分析

DreamAI

直接口头置信度是强基线，但自我报告对提示词敏感且自洽性会放大共享误解

📌 工作参考价值（4 点）

• 在生成推荐理由、广告文案、商品属性或搜索 query 时，可直接用 verbalized confidence 做不确定性初筛，但不要把它当成稳定分数直接做硬阈值路由：同一答案等效重问会带来 0.043–0.084 的分数波动，并翻转 4%–9% 的 0.8 阈值决策。
• 在需要人工审核的生成内容（如合规文案、事实性描述）上，可以用自报置信度对审核队列排序，优先检查低置信样本；但上线前必须做领域内校准审计，因为基准噪声和提示词差异会明显影响 AUROC。
• 对 Agent 多智能体投票或自洽性路由要谨慎：三样本一致性在该实验中显著弱于直接口头置信度，而且错误答案也可能获得一致支持，说明共享先验会放大系统性误解，建议引入外部证据或独立校验器。
• 如果业务依赖 closed model 的 API，无法拿到 token probability，口头置信度仍然是可用的训练无关信号，但需要设计更鲁棒的 elicitation 协议，例如多次采样、多样化提示或校准映射。

Eval | 2026-09-17 | cs.CL | score 6/10

confidence estimationcalibrationself-consistencyverbalized confidenceuncertaintyLLM evaluation

Confidence Comes from Experience: Experiential Confidence Estimation from Reasoning to Agents

置信源于经验：LLM 与 Agent 的体验式置信度估计

🧭 经验驱动 LLM 置信度校准 ★ 深度解读

University of Cambridge · Google DeepMind

用模型自己的历史验证样本构建经验库，检索相似任务与置信度，校准 LLM 输出置信度，以 1/10 成本匹敌 10 次采样一致性

📌 工作参考价值（4 点）

• 在 LLM 生成商品标题/广告文案/搜索改写等任务中，收集每次生成时的模型自评、置信度和最终效果（点击、转化或人工审核），构建经验库；上线时检索相似任务与相似置信度的历史，看实际成功率，用于决定自动发布还是人工审核。
• 用 task embedding + 模型自报置信度作为检索键，代替仅靠语义相似度；用历史结果标签微调度量空间（如重加权）可以让检索到“失败原因相似”的案例，而不仅是主题相似。
• 反思阶段把历史失败教训读给模型，让模型先说出自己的 recurring failure mode 再重估置信度，比单纯让其内省更校准；最终将统计成功率与反思置信度做 0.5/0.5 等权平均。
• 经验库需要独立于模型自身判断的结果标签（如用户反馈、人工审核、真实转化），不能用模型自己判断的 label，否则会在模型自信但错误的地方失效；且 lesson 要隔离，避免后见之明。

LLM | 2026-09-14 | HF Daily | score 8/10

confidence estimationcalibrationexperience bankself-consistencyLLM agentselective prediction

Test-Time Scaling for Small VLMs on Multilingual Visual MCQ

小型视觉语言模型多语言视觉多选题的测试时缩放研究

🧭 测试时缩放 · 小型VLM推理

University of Amsterdam

揭示可解析性和解码预算才是小VLM测试时缩放的关键，而非复杂搜索或验证

📌 工作参考价值（4 点）

• 提示工程确保输出可解析：在要求LLM/VLM生成推荐理由、商品标签或搜索 query 时，显式添加答案格式约束（如“最终答案：”），并后置修复漏答的推理链，能大幅提升解析成功率和准确率
• 优先增加单链 token 预算而非采样数量：对于资源受限的小模型，把单链最大 token 数从1k提升到2k即可挽回3.7个百分点，而采样数翻倍几乎无益，可在Agent推理链路中调整max_tokens参数以成本更低的方式增强性能
• 自一致性投票足够可靠：在决策融合阶段，简单 majority voting 在准确率上往往优于昂贵的PRM引导搜索或训练验证器，适合作为推荐Agent中多路推理结果的低成本聚合方案
• 模型自身能力是最大杠杆：升级基础策略模型带来11.4pp提升，远高于任何后处理技巧，因此在实际业务中，优先迭代模型或适配领域数据比过度设计推理策略更高效

Reasoning | 2026-07-10 | cs.LG | score 6/10

test-time scalingvision-language modelsmultilingual reasoningself-consistencyparseabilityprocess reward model

When are likely answers right? On Sequence Probability and Correctness in LLMs

何时高概率答案正确？LLM序列概率与正确性对齐研究

🧭 LLM解码概率与正确性对齐分析

Max Planck Institute for Intelligent Systems · ELLIS Institute Tübingen · AI Center Tübingen · University of Tübingen · IMPRS-IS

量化LLM解码中序列概率与正确性的对齐关系，发现仅在固定数据集内概率可预测正确性，调参或换方法无效

📌 工作参考价值（4 点）

• 电商推荐中使用LLM生成商品描述或推荐理由时，不要依赖调整温度、top-k等解码超参数来提升事实准确性，提高序列概率不一定带来正确性提升
• 构建基于LLM的推荐Agent时，若用生成概率作为置信度过滤候选动作，需注意只在固定解码配置下有效，改变采样策略会破坏概率与正确性的对齐
• 在自我一致性（self-consistency）投票中，序列概率加权可能无效，建议等权投票或引入外部验证器
• 对于同一提示的多次生成，概率不能可靠区分好坏，应避免用概率选择最佳回答，考虑其他校准方法

LLM | 2026-06-25 | cs.LG | score 7/10

decoding methodssequence probabilitycorrectness alignmentself-consistencybest-of-NLLM evaluation