µPC: Scaling Predictive Coding to 100 Layer Networks
a year ago
- #deep learning
- #predictive coding
- #machine learning
- 论文介绍了一种名为$μ$PC的方法，可将预测编码（PC）扩展到100层以上的深度网络
- 该方法通过使用Depth-$μ$P参数化方案，解决了深度预测编码网络（PCNs）的训练难题
- 研究揭示了标准PCNs中阻碍深层网络训练的病理问题，并展示$μ$PC如何缓解这些问题
- $μ$PC能稳定训练深度残差网络（最高达128层），在分类任务中表现出竞争力
- 该方法实现了学习率在不同网络宽度和深度间的零样本迁移
- 研究发现对其他局部学习算法具有启示意义，并可扩展至卷积和Transformer架构
- $μ$PC代码已作为JAX预测编码网络库的一部分开源发布