Cross-Entropy and KL Divergence
a year ago
- #information-theory
- #probability
- #machine-learning
- 交叉熵在机器学习中用于分类问题的损失计算。
- 事件的信息量通过对数定义，以2为底时单位为比特。
- 熵度量随机变量的不确定性，熵越高表示不确定性越大。
- 交叉熵将熵的概念扩展用于比较两个概率分布：P（真实分布）和Q（预测分布）。
- KL散度通过减去P的熵来调整交叉熵，从而提供一个分布差异的度量。
- 在机器学习中，交叉熵作为损失函数，优化交叉熵等价于优化KL散度。
- 最大似然估计与交叉熵最小化相关，将统计估计与机器学习损失函数联系起来。