Derivatives, Gradients, Jacobians and Hessians
9 months ago
- #calculus
- #mathematics
- #optimization
- 导数是微积分中的基本概念，表示函数在每个点的变化率。
- 导数用于优化问题，例如寻找函数图像上的极小值或极大值。
- 梯度下降是一种受导数启发的迭代优化方法，通过调整步长来寻找最小值。
- 梯度将导数推广到高维函数，提供指示最陡上升或下降方向的向量。
- 雅可比矩阵结合了多输出函数的梯度，描述空间在某点的扭曲程度。
- 海森矩阵由二阶导数构成，在优化中用于理解函数的曲率特性。
- 海森矩阵计算量较大但在优化中极具价值，拟牛顿法提供了替代方案。