Hello Deep Learning: Reading handwritten digits - Bert Hubert's writings
a day ago
- 网络架构将28x28图像展平为784x1，然后应用三个线性层（128、64和10个单元），在前两层之间使用ReLU激活函数。
- 对最终的10个输出应用LogSoftMax，将其转换为对数概率，并通过比较正确数字（通过独热向量）的预测对数概率与零来计算交叉熵损失。
- 训练使用随机梯度下降（SGD），批次大小为64张图像，在批次上累积梯度，并使用除以批次大小的学习率更新参数。
- 该模型在测试集上达到了92.23%的准确率，混淆矩阵显示了常见的混淆情况（例如7和9之间），但像7和6这样的数字之间没有混淆。
- 该网络高度依赖于像素位置，不捕捉形状关系，这限制了其对非居中或噪声数字的泛化能力。