Boogu-Image-0.1: Boosting Open-Source Unified Multimodal Understanding and Generation
Boogu-Image-0.1:开源统一多模态理解与生成模型
🧭 统一多模态理解与生成
通过数据/训练管线优化和Agent式推理扩展,在极低计算预算下实现逼近闭源的多模态生成性能
📌 工作参考价值
- Agent式推理扩展用于线上服务:将推理时间计算量化为可控资源,通过增加推理步数提升生成质量,该范式可直接用于Agent推荐系统的多步决策、query生成等,在延时允许下动态扩展推理深度提升效果。
- 数据效率与成本控制:仅用2.08亿图片达到领先性能,训练成本压到40万美元。在推荐系统中,可借鉴其数据筛选、去重、质量过滤的流程,用小规模高质量多模态数据对齐用户偏好,降低数据采集成本。
- 多模态生成能力迁移至商品创意:模型支持高质量文本渲染和中文生成,可直接用于广告创意、商品海报、营销图片的自动生成,将生成式推荐从物品ID扩展到视觉内容创造。
- 开源与可重现性:提供全套训练代码与权重,推荐团队可基于此快速搭建企业级多模态生成服务,并融入检索增强或个性化微调,避免依赖黑盒API。
动机:闭源多模态系统(如GPT-Image-2)性能领先但实现细节不公开,开源方案在统一理解与生成任务上存在差距。本工作探索在极有限计算资源下(仅约2亿张训练图片、4万美元成本)能否通过针对性的训练改进和推理策略,大幅提升开源模型的竞争力。
方法关键点:
- 模型架构与理解增强:基于统一的多模态架构,强化模型对文本与图像的对齐理解,支持中英双语指令与文字渲染。
- 数据质量优先:精心筛选与清洗训练数据,仅使用208.62M独特图片,强调数据质量远重于数量,有效降低训练成本。
- 训练流水线优化:设计多阶段训练策略,平衡生成质量、速度与编辑能力,推出Base、Turbo、Edit等4个变体。
- Agent式推理时扩展:通过引入“思考”步骤(Thinking mode),在推理时动态增加计算量,以可控的时间代价换取生成质量的提升,模拟系统级集成中的多步优化。
关键结果:
- Boogu-Arena评测中,Turbo-Thinking版本ELO分数1048,超越所有开源模型,接近GPT-Image-2(1196)和Nano-Banana-Pro(1087)。
- 推理时间与质量可平滑折中:Turbo-Thinking相比Turbo提升明显,仅在模型内实现,无需外部组件。
- 仅用208.62M图片,基础模型训练理论成本约$400K,证明高效开源路线的可行性。