A Theory of Contrastive Learning with Natural Images
2 days ago
- #neural networks
- #contrastive learning
- #computer vision
- 该论文提出了一种理论，解释了为什么使用简单图像和增强的对比学习能为下游任务生成有用的表示。
- 它分析计算了在给定基础增强和具有平稳统计特性的任何图像数据集的情况下，对比损失的最优表示。
- 对于某些增强，最佳表示可以通过具有正弦第一层滤波器、逐点非线性、全局平均池化和执行部分白化的最终线性层的CNN实现。
- 即使使用更复杂的增强，此类CNN中的最优权重仍保持正弦特性，其频率和权重可通过基于数据集期望功率谱的水填充算法计算。
- 在多种图像数据集和增强上的实验证实，通过随机梯度下降训练的CNN经验性地学习了正弦滤波器和部分白化，与理论预测一致。