The Most Important Machine Learning Equations: A Comprehensive Guide
9 months ago
- #probability
- #machine-learning
- #mathematics
- 机器学习（ML）是一个由数学驱动的领域，其核心方程对于构建模型和优化算法至关重要。
- 概率论与信息论为处理不确定性及衡量概率分布间差异提供了理论基础。
- 贝叶斯定理是概率推理的基石，广泛应用于分类和推断等任务。
- 熵用于度量概率分布中的不确定性，是决策树和信息增益计算的基础概念。
- 联合概率与条件概率是贝叶斯方法和概率模型的基本组成部分。
- KL散度（KLD）衡量一个概率分布与另一个分布的差异，常用于变分自编码器（VAE）。
- 交叉熵量化真实分布与预测分布之间的差异，是分类任务中广泛使用的损失函数。
- 线性代数支撑着机器学习模型中的变换与结构，线性变换是神经网络的核心操作。
- 特征值与特征向量描述矩阵对空间的缩放和旋转作用，对理解PCA中的数据方差至关重要。
- 奇异值分解（SVD）将矩阵分解为正交矩阵和对角矩阵，揭示数据的内在结构。
- 梯度下降通过沿损失函数梯度的反方向更新参数（步长由学习率控制）来优化模型。
- 反向传播运用链式法则计算神经网络中权重相对于损失的梯度。
- 均方误差（MSE）计算真实值与预测值之间平方差的平均值，是回归任务的常用指标。
- 扩散过程描述数据随时间逐步添加噪声的正向过程，是生成式AI的关键技术。
- 卷积通过滑动函数提取数据（如图像）特征，构成卷积神经网络（CNN）的核心操作。
- Softmax将原始分数转化为概率分布，适用于神经网络输出的多分类任务。
- 注意力机制基于查询与键的相似度计算值的加权和，是自然语言处理中Transformer的核心组件。