Evolution: Training neural networks with genetic selection achieves 81% on MNIST
2 months ago
- #evolutionary-learning
- #neural-networks
- #trust-based-selection
- GENREG是一种通过基于种群的选择来优化神经网络的进化学习系统，不使用梯度或反向传播算法。
- 网络根据任务表现积累'信任值'，高信任值的基因组通过变异繁殖产生下一代。
- GENREG在MNIST数据集上以50,890个参数取得81.47%测试准确率，在字母识别任务上达到100%准确率。
- 与基于梯度训练的关键区别包括：不使用损失函数导数、没有学习率、采用基于种群的搜索策略。
- 进化学习需要稳定的适应度信号，通过对多个样本的表现取平均值来实现。
- 子代变异比基础变异更重要，既能探索高信任值基因组，又能保持种群多样性。
- GENREG以更少参数实现有竞争力的性能，表明神经网络通常存在过度参数化现象。
- 训练动态包含快速初始学习期、平稳中期上升期和精细调整后期三个阶段。
- 当前局限性包括：速度比梯度下降法慢，对高分辨率图像的扩展性尚不明确。
- 未来研究方向包括：探索卷积架构、多任务学习机制以及理论分析框架。