One Forward Beats Two: InnerZoom for Accurate and Efficient GUI Grounding
一次前向胜过两次前向：InnerZoom实现准确高效的GUI定位
🧭 单次前向内部缩放引导解码提升GUI定位
Tongyi - MAI
单次前向内部缩放桥接跨层证据，超越需两次前向的ZoomIn，同时降延迟降计算量
📌 工作参考价值（4 点）
- 构建电商自动操作Agent时，可直接用InnerZoom替代ZoomIn，只需一次前向即可获得高精度UI元素定位，端到端延迟降低30%+，适合在线或低资源环境。
- 该方法的核心思想“跨层证据桥接”可迁移到推荐系统的生成式推荐中：将中间层强语义特征显式保留并注入后续解码步骤，提升生成式ID或序列的准确率。
- 实现上，InnerZoom无需修改基础MLLM架构，仅需设计轻量证据提取与精炼模块，训练成本低，可在现有视觉-语言模型上微调即用，适合需要快速落地GUI自动化场景。
- 对于多模态商品图片理解任务，若需定位商品区域或关键属性位置，可借鉴内部缩放思路，将区域感知特征跨层传递，增强定位或属性预测的精度。