Pinocchio: Fast Uncertainty Estimates for Black-Box Language Models
Pinocchio：黑盒语言模型的快速不确定性估计
🧭 黑盒LLM不确定性估计 · 外部校准器
University of Maryland · Ritual AI · Fudan University · Columbia University
用外部校准器仅凭文本输出预测黑盒LLM回答的正确性，无需logits或微调
📌 工作参考价值（4 点）
- 在Agent/LLM工作流中部署轻量外部校准器（如Pinocchio）作为gate，对LLM生成的推荐理由、商品描述、搜索query改写结果做正确性/可靠性打分，低于阈值触发人工审核或fallback策略。
- 该方法只依赖文本输出，兼容闭源API（GPT/Claude等），适合电商环境中大量使用第三方LLM的场景；无需模型内部access，降低接入成本。
- 跨模型零样本迁移结果表明，可在内部用少数模型标注数据训练一个通用不确定性估计器，直接应用于新模型或外部模型，降低维护成本。
- 0.8B文本模型即可达到大模型AUROC，意味着可部署在CPU或边缘侧，适合在线实时过滤，不影响主链路延迟。