Learning to Model the World with Language
6 months ago
- #AI
- #Reinforcement Learning
- #Language Understanding
- Dynalang是一种通过学习理解和利用多样化语言来预测未来观察、世界行为和奖励的智能体。
- 它采用多模态世界模型来预测未来的文本和图像表征，通过模拟模型推演提升任务表现。
- Dynalang可在无需动作或奖励的文本/视频数据集上进行预训练，从而受益于大规模离线数据。
- 该智能体在网格世界和逼真家庭导航等任务中超越了最先进的强化学习算法和专用架构。
- Dynalang将语言理解与未来预测相统一，能有效处理环境描述、游戏规则和操作指令。
- 它将视频和文本建模为统一序列（类似人类感知方式），同时提升了预训练和强化学习性能。
- 该智能体还能生成基于环境实景的语言，展现了具身问答方面的能力。
- 在通用文本数据上预训练的Dynalang表现出下游任务性能提升，印证了其架构的通用性。