MODUS: Decoder-Only Any-to-Any Modeling of Diverse Modalities
MODUS：仅用解码器的任意模态到任意模态统一建模
🧭 解码器仅有 · 任意到任意多模态建模
EPFL · Apple · University of Copenhagen · CUHK · University of Geneva
提出解码器仅有的任意模态到任意模态统一框架，无需特定头或损失，支持链式生成与自我验证
📌 工作参考价值（4 点）
- 多模态搜推统一表示：将商品标题、描述、图片、属性等异构模态统一 token 化，用单一解码器模型完成多模态理解与生成，可简化特征工程与模型部署。
- 跨模态增强与验证：利用模型生成深度、法线等中间模态，增强商品图像理解；或在生成描述后，用另一模态（如图像）对文本输出进行自我验证，提升生成质量与可信度。
- 链式生成与多步推理：通过中间模态链式生成（如文本→草图→商品图），实现复杂创意内容生产，适用于动态广告物料生成、个性化推荐理由可视化等场景。
- 工程实现轻量化：取消模态专用头与多任务管道，所有模态共享同一个 Transformer 解码器，降低多模态业务维护成本，便于快速扩展新模态。