Mitigating Multimodal Inconsistency via Cognitive Dual-Pathway Reasoning for Intent Recognition
认知双通道推理缓解多模态不一致性用于意图识别
🧭 多模态意图识别 · 冲突消解与双通道推理
Hebei University of Science and Technology · Hebei University of Economics and Business
用直觉与推理双通道动态融合，量化并消解多模态冲突，实现鲁棒意图识别
📌 工作参考价值（4 点）
- 多模态冲突鲁棒处理：当文本、图像、语音等模态信号不一致时，CDPR 的双通道设计（直觉路径聚合共识，推理路径显式量化冲突并动态加权）可直接迁移到电商多模态对话或商品理解中，避免错误模态主导决策。
- 语义原型匹配校准：利用原型向量与统计概率校准来量化冲突严重度，可借鉴到推荐系统中有噪声的多模态内容（如用户评论图文不符），提升意图/偏好识别的可靠性。
- 多视角损失防模态懒惰：防止训练中某模态被忽略，适用于电商多模态特征融合（如商品标题、图片、视频），保障各模态信息充分挖掘。
- 表示解耦提供模块化接口：将模态不变与特定特征分离，便于在 Agent 系统中对不同模态组件进行独立优化或故障排查，增强可解释性。