Can MiniMax-H3 Reason About the Physical World? An Evaluation of Omni-Modal Generative Model
MiniMax-H3 物理世界推理能力评测
🧭 多模态生成模型物理推理评测
National University of Singapore · Fudan University · Tencent
构建四个互补维度的评测框架,揭示全模态生成模型 MiniMax-H3 在物理推理任务上总体成功率仅41.97%,音频消歧最弱
📌 工作参考价值(4 点)
- 评测范式可迁移:设计多模态 Agent 或生成推荐评测时,避免让提示与目标内容过度显式匹配;可以构造“单模态信息不足、需跨模态联合推理”的任务,更真实地暴露模型整合能力弱点。
- 结果提示音频-视觉融合是薄弱环节(27.40%):在电商语音购物、短视频商品讲解等场景,若依赖多模态生成推荐,需重点强化音频与视觉语义对齐与消歧。
- 视频决策推理相对强(56.00%),但整体成功率仍低,说明物理一致性推理尚未成熟,生成式推荐直接产出商品视频/图文时要增加事实与物理合理性校验环节。
- 评测框架的四个维度可作为产品中生成内容质量评估的模块化参考,例如分别测试隐式文本+多图、音视频联合输入下的推理能力。