Perceive-to-Reason: Decoupling Perception and Reasoning for Fine-Grained Visual Reasoning
感知到推理:解耦感知与推理的细粒度视觉推理框架
🧭 解耦感知与推理的细粒度视觉推理
Zhejiang University · Alibaba Group
提出两阶段框架显式分离视觉感知与推理,结合角色感知的交替强化学习,仅用答案监督提升细粒度推理
📌 工作参考价值(4 点)
- 感知-推理解耦范式可迁移至商品图像理解:在商品属性识别、广告素材审核等场景,可让模型先定位“文字/细节区域”作为感知阶段,再基于裁剪区域进行结构化输出,减少高分辨率下的上下文噪声。
- PRA-GRPO 交替强化训练适合弱监督多步推理:电商场景中从图像到复杂描述(如违规理由判定)往往缺乏中间标注,该策略仅用最终结果反馈即可交替优化感知与推理子策略,降低标注成本。
- 高分辨率基准的提升提示可重用视觉搜索步骤:对于商品详情图(4K/8K),让模型显式输出“关键区域坐标”再推理,能直接嵌入搜索推荐系统的多模态链路,提高证件/标签等细粒度识别的鲁棒性。
- 框架具有模型规模扩展性:小模型(2B/4B)也能通过解耦显著受益,适合在资源受限的推荐侧或端侧 Agent 中部署。