HYDRA-X: Native Unified Multimodal Models with Holistic Visual Tokenizers
HYDRA-X：以整体视觉分词器实现原生统一多模态模型
🧭 统一视觉分词与多模态理解/生成
Nanjing University · CASIA · Tencent Hunyuan · Zhongguancun Academy · Shanghai AI Lab
首个以单一ViT统一图像与视频分词的原生视觉分词器，通过分层时间压缩与潜在级语义注入提升重建与编辑一致性
📌 工作参考价值（4 点）
- 对电商商品多模态处理：统一分词器可直接编码商品图片和视频至同一潜在空间，简化多模态商品表征流水线，减少编解码器数量。
- 视频内容压缩借鉴：分层时间压缩策略（优于单步压缩）与轻量解压器设计，可迁移至短视频商品描述或虚拟试穿场景，在保持语义的同时降低序列长度。
- 编辑任务中的交互层级选择：论文发现将源-目标交互放在分词器潜在层（而非LLM语义层）能显著提升编辑一致性和收敛速度，该 insight 可应用于多模态对话式商品编辑或海报生成。
- 训练策略启示：联合图像-视频教师监督可增强潜在空间语义结构，类似原理可用于多任务商品理解模型，联合商品图片和视频标签进行预训练。