LeJEPA
6 months ago
- #Self-Supervised Learning
- #AI Research
- #Machine Learning
- LeJEPA提出了一种理论严谨的自监督学习方法，无需依赖启发式策略。
- 证明各向同性高斯分布是嵌入向量的最优分布，可最小化预测风险。
- 提出草图化各向同性高斯正则化(SIGReg)来约束嵌入空间。
- 将JEPA预测损失与SIGReg结合，形成简化、可扩展且稳定的训练目标。
- 在ViT-H/14模型上实现ImageNet-1k线性评估79%准确率。
- 仅需约50行代码即可实现支持分布式训练的简洁实现。
- 在10+个数据集和60+种架构上验证，展现广泛适用性。