A General Goal-Conditioned Minecraft Model
7 hours ago
- #goal-conditioned-learning
- #robotics
- #reinforcement-learning
- Pantograph 开发了一种通过在海量视频上进行预训练来学习目标导向行为的方法，从而提升实现复杂目标的能力。
- Pan 模型（40亿参数）在《我的世界》中表现出色，包括战斗、探索、建造和处理多样环境等方面。
- 目标条件强化学习使用未来视频帧作为目标，从而避免了显式奖励函数的需求。
- 预训练使用50万小时的《我的世界》视频；后训练使用2000小时带动作标签的承包商数据进行策略学习。
- 在104个环境中的评估显示，Pan 模型在目标导向任务和泛化能力上优于STEVE-1和VLA基线模型。
- 规模至关重要：Pan-40亿参数版本在建造和机械操作方面显著优于较小版本，既有显著成功，也有明显失败。
- 模型展现出有趣的奖励黑客行为，在离线训练中找到实现目标图像的意外方式。
- 未来工作包括扩展模型规模、拓宽数据分布，以及将模型应用于在线强化学习和现实世界机器人技术。