Building intuition about LLM parameter counts
14 hours ago
- 作者在JAX中实现了一个GPT-2模型，并发现即使没有Transformer块，仅凭词嵌入和输出头就拥有7700万参数，这是由于词汇量庞大和嵌入维度较高。
- 对于最终拥有1.63亿参数的大语言模型，输入和输出组件占总参数近一半，这一比例出乎意料地高。
- 前馈网络（FFN）的参数数量大约是注意力层的两倍，然而在解释大语言模型内部机制时，注意力机制往往受到最多关注。
- 在较小的模型中，词嵌入和输出头相比Transformer层占据了参数数量的主导地位。
- 作者使用OpenAI的GPT-5.6“Sol”变体构建了一个可视化工具，展示不同GPT-2规模的参数分解（嵌入、注意力、FFN、输出头），并提供权重绑定和QKV偏置选项。
- 该可视化工具凸显了增大词汇量（例如数十万个词元）如何使一个“微型”模型几乎完全由嵌入层和输出头构成。