The Training Example Lie Bracket
2 days ago
- #gradient descent
- #Lie brackets
- #machine learning
- 理想情况下，机器学习模型的训练不应依赖于训练样本的顺序，但通过梯度下降训练的神经网络确实表现出顺序效应。
- 训练样本向量场的李括号量化了交换两个样本顺序时参数更新的差异。
- 在CelebA数据集上使用卷积神经网络进行的实验中，李括号的大小与梯度大小密切相关，这表明参数之间存在一致的非交换性。
- 对于如黑发和棕发这类特征的预测对样本顺序特别敏感，可能是由于损失函数在处理互斥性时存在不足。