Hello Deep Learning: Convolutional networks - Bert Hubert's writings
a day ago
- 卷积网络（CNN）使用卷积核扫描图像中的特征，使其对像素位置变化具有鲁棒性。
- 最大池化通过下采样降低对特征位置的敏感性，使用非重叠窗口仅保留最大值。
- GELU激活函数通常优于ReLU，因为它从负输入中保留更多信息。
- 所描述的用于手写字母识别的CNN设计包括三个卷积+最大池化阶段，随后是三个全连接层和LogSoftMax。
- 训练卷积网络计算量很大（例如可能需要一天），因为有大量运算，不过并行处理有所助益。
- 过拟合是一个关键挑战；生产环境通常需要经历训练、验证、真实世界数据和可重复性等阶段。
- 网络对手写字母的性能可能具有主观性（例如g与q），导致准确率约85%，但考虑第二佳猜测时超过95%。
- CNN中的反向传播涉及在输入和梯度上滑动卷积核以更新权重和偏置。
- 实际实现中，将数字数据集替换为字母数据集，并使用ConvoAlphabetModel而非更简单的数字模型。