LeMario: Training a JEPA World Model on Super Mario Bros
2 hours ago
- #Reinforcement Learning
- #JEPA
- #World Models
- 作者在《超级马里奥兄弟》上训练了一个名为LeMario的联合嵌入预测架构（JEPA）模型，以从像素和动作中学习世界动态。
- 该模型包含视觉编码器、动作编码器以及带自适应层归一化零（AdaLN-Zero）用于动作调节的因果预测器，并使用SIGReg来防止表征崩溃。
- LeMario在保留剧集的短期预测任务中超越了基线模型，表明它学习了动作条件化的动态。
- 然而，当使用无奖励规划与交叉熵方法（CEM）来达成远距离图像目标时，马里奥在跳跃和导航等障碍上遇到了困难。
- 探查发现潜在空间对水平位置编码良好，但对垂直位置编码较弱，这解释了规划失败的原因。
- 问题包括潜在距离与可控进度不一致、CEM利用模型弱点，以及与原始Push-T设置（例如滚动摄像头、更少剧集）的差异。
- 尽管存在失败，该项目提供了对世界模型的深入见解，强调了数据集、环境假设和系统化测试的重要性。