Reasoning-Informed Visual Editing
推理驱动的视觉编辑基准与 RISE-Agent
🧭 视觉编辑推理基准与 Agent 评估
Shanghai Jiao Tong University · Southeast University · South China University of Technology · Microsoft Research Asia · Fudan University
构建首个推理驱动视觉编辑基准 RISEBench++ 及训练无关 Agent,覆盖六类推理并评估58个模型
📌 工作参考价值(4 点)
- 复杂指令的分层拆解:将用户编辑需求按时间、因果、空间、逻辑、反事实维度解析,可借鉴到电商商品图修改、广告素材编辑等场景,提升指令遵循精度。
- LMM-as-a-judge 的校准评估:结合人工校准的大模型裁判,可用于生成式推荐结果、文案或图像修改的多维度离线评估,降低人工评测成本并提高一致性。
- 训练无关 Agent 工作流:RISE-Agent 的规划-执行-验证闭环,适合直接嵌入商品图或营销素材生成的业务流,先做推理规划,再调用修图/生成工具,最后用验证器自查,无需额外训练。
- 多图条件输入保持外观一致性:多参考图机制可迁移到电商场景中跨图保持品牌 VI、模特、商品外观一致,减少多步编辑中的风格漂移。