Forward propagation of errors through time
7 days ago
- #Backpropagation Through Time
- #Recurrent Neural Networks
- #Forward Propagation
- 本文介绍了一种名为'时间前向误差传播(FPTT)'的新方法，作为传统时间反向传播(BPTT)的替代方案，用于训练循环神经网络(RNN)。
- FPTT通过预热阶段确定初始条件，实现误差随时间前向传播，从而消除反向传递需求并降低内存消耗。
- 该方法理论完备，在序列MNIST等任务上成功训练了深度RNN，但在'遗忘'机制下存在数值不稳定性问题。
- FPTT的不稳定性源于：当雅可比矩阵求逆时，收缩性RNN（理想特性）会导致误差爆炸式增长，使该方法对特征值幅度异常敏感。
- 文章对比了FPTT与BPTT及实时循环学习(RTRL)的优劣，指出FPTT优势（精确梯度计算、无需反向传递）与局限（数值不稳定、雅可比求逆计算成本）。
- 尽管在神经形态或模拟硬件领域具有潜力，但由于不稳定性和计算开销，FPTT目前难以广泛应用。
- 作者分享这些发现旨在启发RNN训练的新思路，强调对BPTT等传统方法进行质疑的重要性。