World Emulation via DNN
a year ago
- #neural-networks
- #machine-learning
- #virtual-reality
- 作者从森林小径创建了一个可通过网页浏览器探索的神经世界。
- 这个神经世界完全由神经网络生成，不包含传统游戏元素（如几何结构或脚本）。
- 该项目灵感源于早期用神经网络模仿2D电子游戏世界的尝试。
- 数据采集通过手机录制15分钟的森林小径视频和运动轨迹完成。
- 初期成果质量较差（被形容为'森林风味浓汤'），促使神经网络进行多次升级。
- 升级措施包括增加控制信息、增强记忆能力、采用多尺度处理技术。
- 后续改进涉及扩大网络规模、调整训练目标、延长训练时长。
- 最终模型使用22,814帧数据集，消耗约100GPU小时训练完成。
- 神经世界被类比为照片，以无人工干预的方式记录现实。
- 未来可能实现更逼真的自动化细节（如树木摇曳、鸟鸣等）。
- 神经世界有望发展成区别于传统电子游戏的全新创作媒介。