- 本章展示了一个神经网络如何通过简单的权重调整技术,自行学习区分数字3和7的图像。
- 最初,权重随机初始化并产生不正确的分数;学习过程会朝着正确输出的方向调整权重。
- 调整幅度与输入像素值(亮像素更重要)成正比,并由学习率(例如0.01)控制。
- 这种称为反向传播的简单方法,在干净测试数据上实现了超过98%的准确率,与之前手工配置的网络相当。
- 代码初始化一个随机权重矩阵,通过单位矩阵应用学习率,并根据误差大小在每个训练样本后更新权重和偏置。
- 该过程通过使用阈值(2或-2)进行更新来避免权重无限增长,后续将替换为激活函数。