Reinforcement Learning with Metacognitive Feedback Elicits Faithful Uncertainty Expression in LLMs
利用元认知反馈的强化学习实现 LLM 可信不确定表达
🧭 LLM 校准 · 元认知反馈
Yale University · Google Research
提出 RLMF 范式，以模型自我评判质量作为奖励来优化偏好排序，显著提升 LLM 的不确定度校准与边界认知能力。
📌 工作参考价值（4 点）
- 生成式推荐解释的可信度增强：在电商搜索推荐中，若 LLM 生成推荐理由或商品评测，可利用 RLMF 校准模型输出的置信度，使语言表达的不确定性（如“可能适合”“强烈推荐”）更符合真实准确率，提升用户信任。
- 偏好优化的奖励信号设计：RLMF 将自我评判质量（如校准误差）作为奖励项融入偏好优化，可借鉴到生成式推荐模型的排序对齐中，使模型在生成物品描述、理由选择时具备更好的自我评估与保守表达能力。
- 高价值训练样本筛选：元认知数据选择基于模型自我评估挑选高价值样本，可应用于点击率预估、用户意图识别等任务的主动学习流程，减少标注成本并提升样本效率。
- 两阶段解耦式校准：先校准数值置信度，再通过编辑映射到自然语言，这种解耦方法可直接用于推荐解释的生成后处理，在不重训模型的情况下提高解释的可靠性。