What are we missing out on when we think Transformer is unreasonable in biology?
10 months ago
- #AI
- #Transformers
- #Neuroscience
- 文章反对将宏观计算模型（如Transformer）直接与微观生物单元（如神经元）进行类比，称此为'尺度对齐'错误。
- Transformer通过自注意力机制模拟大脑的'全局工作空间'功能，而非模仿单个神经元。
- 在微观层面，神经元对应GPU中的晶体管，二者都执行局部计算。
- 现代GPU的大规模并行架构在物理结构上与大脑的组织原理相似。
- 关于'生物合理性'的辩论应聚焦功能模拟而非形式模仿。
- 文章总结认为AI的未来应专注于模拟大脑功能，而非其生物形态。