Continuous Thought Machines
a year ago
- #neural networks
- #neuroscience
- #artificial intelligence
- 神经网络(NNs)通过抽象化生物大脑的时间动态特性，实现了大规模深度学习
- 连续思维机器(CTM)将神经动态作为核心组件，实现了更丰富的神经元动态与同步机制
- CTM在自生成的内部思维步骤时间线上运作，即使对静态数据也能进行表征的迭代优化
- CTM以神经同步作为表征方式，无需位置编码即可将其投射到注意力查询和预测任务
- CTM展现出自适应计算能力，能根据问题难度动态调整内部处理步骤
- 在迷宫求解、奇偶校验预测和记忆回溯等任务中，CTM无需显式结构调整即表现出强大性能
- CTM展现出丰富多样的神经动态特性，在需要内部推理的任务中优于LSTM
- 在分类任务中，CTM相比人类和传统模型实现了更好的校准效果
- CTM架构在不同任务中保持一致性，仅需调整输入输出接口
- 该研究凸显了神经科学与机器学习的协同效应，倡导在不严格追求生物合理性的前提下汲取生物灵感