A Theory of Contrastive Learning with Natural Images
自然图像对比学习理论：最优表征的正弦基与白化
🧭 对比学习理论 · 正弦基与白化
CSAIL, MIT · School of Computer Science and Engineering, Hebrew University of Jerusalem
证明对比学习最优表征为傅里叶正弦基加部分白化，可用注水算法解析计算
📌 工作参考价值（4 点）
- 推荐系统中常用对比学习训练用户/物品表征，该理论揭示增强变换与最优表征结构的关系，可指导如何设计更适合协同过滤的增强（例如，图像增强等价于频率域的选择性加权，可类比到序列推荐中的 mask 或裁剪策略）
- 部分白化作为对比学习隐含的最终投影层，可显式引入到推荐模型的输出层，提升特征的解耦性与判别性，替换简单的 L2 归一化
- 注水算法直接根据数据功率谱计算最优滤波器权重，该思想可迁移到特征交互建模中，自适应地分配不同频率或阶次交互的权重
- 虽然对象是视觉，但结论“第一层学习正弦波”暗示对比学习倾向于发现频域结构，这一点可用于解释推荐模型中 Embedding 在对比训练下的收敛特性，辅助排查训练不稳定问题