Theories of Deep Learning23 days agohttps://astledsa.substack.com/p/theories-of-deep-learning深度学习已取得指数级的实证成功，但理论研究长期滞后；然而，随着多种新兴理论的出现，这一差距正在缩小。深度学习理论可分为架构理论、优化理论和功能理论三类，分别侧重于模型设计、优化器行为和泛化能力等不同方面。范畴化深度学习运用范畴论来泛化所有神经网络架构，通过二维范畴中的单子为约束条件与实现之间搭建桥梁。模块对偶性提出基于范数的优化框架以提升训练效率，引入对偶映射使梯度更新与参数空间对齐。更多...