MIRROR: Learning from the Other View for Multi-Modal Reasoning
MIRROR: 利用另一视图提升多模态推理一致性
🧭 多模态推理 · 自监督强化学习
University of Southern California · Carnegie Mellon University
通过视图间互惠强化学习，利用多模态行为差异提升几何推理准确性与跨模态一致性
📌 工作参考价值（4 点）
- 多视图对齐训练范式：电商场景中商品信息天然有文本描述、主图、规格图等多模态视图，可借鉴 MIRROR 在训练时主动暴露视图差异，用表现最好的视图监督其他视图，提升商品问答、图文匹配等任务的一致性与准确性。
- 强化学习替代方案：传统 RLHF 依赖人类偏好，MIRROR 用模型自身在视图间的表现差距作为奖励信号，无需外部标注，可迁移到 Agent 评估或多模态检索中，用“容易版”问题教会“困难版”推理。
- 自监督推理一致性提升：推荐系统中用户行为、评论、图片等不同模态可能蕴含同一决策意图，可设计类似 Teacher-Student 机制，用强模态监督弱模态，减少模态缺失时的性能下降。
- 构建模态依赖测试集：在业务评测中加入纯文本、纯图、混合视图的对照测试，暴露模型对特定模态的过拟合，指导训练改进。