CoMet: Context and Multiplicity Decomposition for Multimodal Uncertainty Estimation
CoMet：上下文与多重性分解的多模态不确定性估计
🧭 多模态大模型不确定性估计
Princeton University
将多模态不确定性分解为上下文相关项与多重性相关项，用轻量级后置模块高效估计，无需重复生成
📌 工作参考价值（4 点）
- 电商推荐场景下的多模态模型（如图文推荐、短视频描述）可采用不确定性分解思路，区分任务固有歧义和多种可能答案的模糊性，辅助在线决策。
- 轻量级后置模块直接复用已有隐藏表征，无需多次采样或完整生成，适合推荐系统对低延迟的要求。
- 可用于多模态生成内容的幻觉检测，例如自动过滤不可信的图文推荐理由或评论，提升用户体验。
- Agent 在调用 MLLM 时可使用 CoMet 估计置信度，实现自适应动作执行或请求人工确认，增强系统鲁棒性。