The maths you need to start understanding LLMs
8 months ago
- #LLMs
- #Machine Learning
- #Mathematics
- 大语言模型（LLMs）需要理解向量、矩阵和高维空间的概念。
- 向量表示n维空间中的距离和方向，在LLMs中用于可能性预测。
- LLMs中的词汇空间涉及表示词元可能性的logits向量，通过softmax函数进行归一化处理。
- 嵌入空间将相似含义的词汇聚类，用高维空间中的向量表示概念。
- 矩阵乘法在不同维度空间之间进行投影转换，这对LLMs中的变换至关重要。
- 神经网络层本质上是矩阵乘法运算，将输入投影到输出，并可选择加入偏置和激活函数。
- 理解LLMs需要掌握高中基础数学概念，并将其应用于更大的矩阵和更高维度空间。