The Lottery Ticket Hypothesis: finding sparse trainable NNs with 90% less params
4 months ago
- #neural networks
- #pruning
- #machine learning
- 神经网络剪枝可以减少90%以上的参数数量而不影响准确率。
- 被剪枝的网络难以从头训练，这限制了训练性能的提升。
- '彩票假说'认为密集网络中存在子网络（'中奖彩票'），当被单独训练时效果显著。
- 中奖彩票具有特殊的初始权重，使得训练效果尤为突出。
- 一种算法可以识别出中奖彩票，其规模仅为原网络的10-20%。
- 中奖彩票比原始网络学习更快，并能达到更高的测试准确率。