Writing an LLM from scratch, part 17 – the feed-forward network
9 months ago
- #LLM
- #neural-networks
- #machine-learning
- 大语言模型中的前馈网络对处理注意力机制后的上下文向量至关重要
- 它由两个线性层和GELU激活函数组成，先扩展维度再压缩维度
- 注意力机制负责信息收集，而前馈网络负责'思考'和模式匹配
- 前馈网络比注意力机制包含更多参数，这说明了其重要性
- 前馈网络中的单个隐藏层具有通用逼近器的功能
- 作者最初低估了前馈网络在大语言模型中的作用
- 后续文章可能会探讨更深层网络及相关研究论文