Transformer neural net learns to run Conway's Game of Life just from examples
a year ago
- #machine learning
- #neural networks
- #Game of Life
- 一个简化版的Transformer神经网络——SingleAttentionNet，能够通过示例完美学习并计算康威生命游戏。
- 该模型利用注意力机制执行3x3卷积操作，这对统计生命游戏中细胞邻居数量至关重要。
- 训练过程通过最小化随机生成的生命网格在预测状态与真实下一状态之间的交叉熵损失来实现。
- 模型可泛化至最大16x16的网格规模，训练时间从几分钟到失败不等，具体取决于超参数设置。
- 若将注意力层替换为手动计算的邻居注意力矩阵或3x3平均池化层，可加速学习并提升泛化能力。
- 当模型在1024个训练批次上实现完美预测，并能成功运行100次生命游戏（每次100步）时，即判定收敛。
- 生命游戏规则基于细胞邻居数量：3个邻居时存活，2个邻居时保持状态，其余情况细胞死亡。