The Annotated JEPA
2 days ago
- #Self-Supervised Learning
- #Representation Learning
- #Computer Vision
- JEPA（联合嵌入预测架构）是Yann LeCun提出的自监督学习方法，通过在表示空间中进行预测来训练模型理解世界，无需标签，同时避免琐碎解和不相关细节。
- I-JEPA作为JEPA的图像实例化，训练上下文编码器来预测掩码目标区域的表示，使用通过指数移动平均（EMA）更新的目标编码器以防止坍塌，并通过预测器最小化嵌入空间中的均方误差。
- I-JEPA的关键设计选择包括：基于补丁的标记化、上下文和目标块无重叠的掩码策略，以及在目标编码器输出中应用掩码以确保高级语义表示。
- V-JEPA将JEPA扩展至视频领域，通过掩码时空三维块，学习捕捉运动和内容的表示而无需像素重建，从而在视频理解任务中实现强大性能。
- V-JEPA 2进一步证明，JEPA可通过学习到的表示支持分类、未来潜在状态预测以及机器人中的动作条件规划，从而实现理解、预测和规划。
- LeJEPA引入了一种理论基础的变体，使用草图各向同性高斯正则化（SIGReg）来强制各向同性高斯嵌入分布，旨在消除如EMA教师之类的启发式方法，并提供稳定的训练。
- JEPA被构建为基于能量的模型，其中表示空间中的预测误差定义能量，并作为世界模型的核心组件，通过搜索抽象潜在状态而非像素来实现规划。
- 该架构与自回归语言模型形成对比，专注于原始感官数据（如图像、视频）以学习物理世界结构，将JEPA定位为涉及预测和行动的自主智能系统的基础。