Where, What, Why, and Importance: Structured Defect Grounding for Text-to-Image Feedback
结构化缺陷定位：文本到图像模型的诊断与对齐
🧭 结构化缺陷诊断与生成式模型对齐
Tsinghua University · Kuaishou Technology · University of British Columbia · Vector Institute · South China Normal University
将缺陷定义为(位置,类型,原因,重要性)元组，提出结构化集合预测与空间奖励对齐框架
📌 工作参考价值（4 点）
- 结构化诊断范式：将模型输出缺陷建模为实例级元组（位置、类型、原因、重要性），可借鉴用于推荐系统的错误分析，例如生成式推荐的item质量问题，用VLM对推荐结果进行定位与归因，构建结构化反馈数据提升模型可解释性。
- 空间化奖励设计：BoxFlow-GRPO将检测到的缺陷区域转化为带重要性权重的空间奖励，用于扩散模型微调。电商场景中可对商品图片生成缺陷进行类似的像素级反馈，指导文生图模型优化商品展示效果。
- VLM作通用诊断器：使用视觉语言模型直接输出结构化预测，绕过传统热力图回归的局限性。在多模态Agent或内容审核中，可将VLM的缺陷检测能力迁移到视频帧、广告素材的异常定位与原因解释，为自动化优化提供信号。
- 诊断到对齐的闭环：将诊断与模型优化无缝衔接，可参考其思想在推荐系统中构建“问题诊断→奖励修正→策略更新”的迭代框架，例如用LLM分析用户负反馈并转化为强化学习奖励来调整排序模型。