NoProp: Training Neural Networks without Back-propagation or Forward-propagation
a year ago
- #Neural Networks
- #Gradient-Free Learning
- #Machine Learning
- 介绍NoProp——一种不依赖前向或反向传播的神经网络新学习方法
- NoProp的灵感来自扩散模型和流匹配方法，每层网络独立学习对噪声目标进行去噪
- 该方法代表了向无梯度学习迈出的一步，改变了传统的网络信用分配机制
- NoProp需要预先将每层的表示固定为目标的噪声版本
- 在MNIST、CIFAR-10和CIFAR-100数据集上验证了其优越的准确性和计算效率
- 潜在影响包括实现更高效的分布式学习以及改变学习过程的特性