The Sweet Lesson of Neuroscience
4 months ago
- #AI alignment
- #neuroscience
- #brain-inspired AI
- 科学家最初从大脑中寻找AI灵感，如今AI研究反而可能帮助理解大脑机制
- 深度学习的早期发展深受海马体回放、多巴胺学习等神经科学概念的启发
- AI领域的'苦涩教训'表明：用数据和算力扩展通用方法，胜过模仿大脑的设计
- 现代AI聚焦架构、学习规则和训练信号三大要素，其中训练信号研究最为欠缺
- 史蒂夫·伯恩斯提出大脑由学习子系统（新皮层、海马体）和导向子系统（下丘脑、脑干）组成
- 导向子系统提供进化预设的先天奖励信号，指引学习子系统的发展方向
- 思维评估器'在学习子系统的后天概念与导向子系统的先天信号间建立桥梁
- 笑声和社交本能证明导向子系统如何通过中间奖励塑造行为模式
- 伯恩斯理论暗示：理解大脑如何协调学习与先天目标，可能助力AI对齐研究
- 下丘脑的复杂性印证了导向子系统的精密设计，它能编码物种特异性行为
- 鸣禽研究表明先天本能与后天学习如何通过奖励信号产生交互
- 模仿大脑的内部教学机制，伯恩斯框架或为AI对齐提供新思路
- 精神疾病可能源于导向子系统失调，凸显理解这些神经回路的重要性
- 未来AI或采用类脑架构，通过分离学习与导向子系统实现目标对齐
- 神经科学的'甜蜜启示'：大脑不仅是学习器官，更是内置的教学架构