AI Papers Daily

#metacognition

2 篇

Future Confidence Distillation in Large Language Models

大语言模型中的未来置信度蒸馏

🧭 LLM 置信度校准的时序提前预测

University of California, Los Angeles

利用回答后隐藏状态训练探针作为教师，将置信度信息蒸馏到回答前表征，实现低延迟高校准的置信估计

📌 工作参考价值（4 点）

• 在 RAG、工具调用或 Agent 决策中，可在生成回答前用模型中间层 hidden state 快速预判置信度，决定是否触发检索或回退，大幅降低时延
• 训练一个轻量线性探针，以回答结束后的正确性探针（教师）产生的置信度为蒸馏目标，样本效率极高，少量标注即可获得校准良好的提前置信度估计
• 探针只需预解层表征，可用于流式推理或早期退出，适合对延迟敏感的生产环境，如电商搜索中的即时置信判断
• 方法在域内数据集间具有迁移性，可在部分 query 类型上训练，泛化到同类场景，降低维护成本

Eval | 2026-07-08 | cs.CL | score 7/10

confidence distillationcalibrationlinear probemetacognitionLLMpre-solution

Reinforcement Learning with Metacognitive Feedback Elicits Faithful Uncertainty Expression in LLMs

利用元认知反馈的强化学习实现 LLM 可信不确定表达

🧭 LLM 校准 · 元认知反馈

Yale University · Google Research

提出 RLMF 范式，以模型自我评判质量作为奖励来优化偏好排序，显著提升 LLM 的不确定度校准与边界认知能力。

📌 工作参考价值（4 点）

• 生成式推荐解释的可信度增强：在电商搜索推荐中，若 LLM 生成推荐理由或商品评测，可利用 RLMF 校准模型输出的置信度，使语言表达的不确定性（如“可能适合”“强烈推荐”）更符合真实准确率，提升用户信任。
• 偏好优化的奖励信号设计：RLMF 将自我评判质量（如校准误差）作为奖励项融入偏好优化，可借鉴到生成式推荐模型的排序对齐中，使模型在生成物品描述、理由选择时具备更好的自我评估与保守表达能力。
• 高价值训练样本筛选：元认知数据选择基于模型自我评估挑选高价值样本，可应用于点击率预估、用户意图识别等任务的主动学习流程，减少标注成本并提升样本效率。
• 两阶段解耦式校准：先校准数值置信度，再通过编辑映射到自然语言，这种解耦方法可直接用于推荐解释的生成后处理，在不重训模型的情况下提高解释的可靠性。

Eval | 2026-06-30 | cs.CL | score 7/10

uncertainty calibrationmetacognitionRLMFpreference optimizationactive learningLLMs