DeltaV: Thinking with Visual State Updates in Unified Large Multimodal Models
DeltaV：统一多模态大模型中的视觉状态更新推理
🧭 视觉更新驱动高效多模态推理
Huazhong University of Science and Technology · MiLM Plus, Xiaomi Inc.
提出视觉更新范式，增量预测变化令牌替代全图生成，减少55.6%视觉令牌并提升多模态推理3.3%
📌 工作参考价值（4 点）
- 当推荐/Agent系统需序列输出视觉状态（如商品搭配演化、试穿效果步骤），采用增量更新可大幅减少生成token的冗余，直接降低推理延迟与成本。
- 借鉴TSIM Router思想，在推荐场景的自适应计算中，根据边际增益动态分配视觉生成token预算：复杂变化场景多分配，简单场景早停，提升整体效率。
- StructCoT数据集构建思路可迁移至电商多模态推理数据准备，通过链式思维引导模型进行多步视觉决策（如商品对比、需求分析），增强推荐可解释性。
- 55.6%的token减少且性能不降，表明视觉差分编码是移动端或资源受限场景下一种高性价比压缩方案，适合部署轻量级多模态推荐助手。