Theories of Deep Learning
a day ago
- #deep learning
- #theoretical frameworks
- #generalization
- 深度学习已取得指数级的实证成功，但理论研究长期滞后；然而，随着多种新兴理论的出现，这一差距正在缩小。
- 深度学习理论可分为架构理论、优化理论和功能理论三类，分别侧重于模型设计、优化器行为和泛化能力等不同方面。
- 范畴化深度学习运用范畴论来泛化所有神经网络架构，通过二维范畴中的单子为约束条件与实现之间搭建桥梁。
- 模块对偶性提出基于范数的优化框架以提升训练效率，引入对偶映射使梯度更新与参数空间对齐。
- 泛化理论将研究焦点从参数空间转向输出空间，利用经验神经正切核解释良性过拟合、双重下降、隐式偏置和顿悟现象。
- 其他研究领域包括机械可解释性与多种解释性原则，但上述理论为深度学习奠定了坚实的理论基础。