Invisible Shortcuts: Why Vision Encoders Know Your Camera
隐形捷径：视觉编码器为何能识别相机元数据
🧭 视觉编码器元数据捷径分析与缓解
VRG, FEE, Czech Technical University in Prague · The University of Osaka
揭示视觉模型利用像素级不可见元数据痕迹作为分类捷径，并提出缓解策略改善OOD泛化
📌 工作参考价值
- 在商品图片特征提取中，预训练视觉编码器可能学到相机型号、拍摄光圈等元数据捷径，导致对特定来源图片过拟合，影响跨域泛化。可通过添加元数据增强或抑制中间层敏感性来缓解。
- 电商场景下的生成式商品图片检测（如图片真伪识别）可借助这种元数据敏感性，现有编码器已具备较强检测能力。
- 对于Agent系统调用视觉模型，需注意模型可能基于不可见水印做决策，存在安全隐患，可通过元数据随机化训练提高鲁棒性。
- 训练多模态推荐模型时，视觉编码器应经过专门微调以消除元数据捷径，否则在不同相机来源的商品图片评估时可能性能下降。
动机：深度视觉模型常利用与监督信号相关的捷径，先前研究关注可见偏见（如背景、纹理），本文发现像素级不可见元数据痕迹（如曝光时间、焦距、JPEG质量）同样成为分类捷径。大规模预训练数据中元数据与语义类别天然存在相关性，导致模型将这些低级信号转化为预测特征。
方法：在ImageNet和LAION中构造受控的元数据-语义相关性，证明相关性越强，模型对元数据痕迹越敏感，且在元数据分布偏移下性能下降越严重。探究预训练期间和后训练缓解策略（如数据增强、特征抑制），可同时降低对目标和非目标元数据的敏感性，而不牺牲下游任务性能。还发现元数据敏感性部分解释某些编码器强大的生成图像检测能力，而缓解后能提升分布外泛化。
结果：实验表明，元数据捷径广泛存在，相关性越强，敏感性和性能退化越显著；提出的缓解方法能有效降低元数据依赖，提升模型鲁棒性和OOD泛化，同时保持原任务性能。