The Parrot Is Dead
a year ago
- #Language Models
- #AI
- #Machine Learning
- 语言模型最初被贬称为‘随机鹦鹉’，认为它们只是机械记忆和复述数据。
- 研究表明模型会形成内部‘电路’——这是解决问题的通用算法，而非简单的查找表。
- Anthropic公司研究发现模型中的‘归纳头’机制，证明它们能动态识别并重建模式。
- 最新技术使研究者能观测模型各层的特征激活，揭示模型如何规划并生成押韵对句等输出。
- 模型通过大量样本形成处理回路，实现从机械记忆到算法式问题解决的跨越。
- François Chollet批评模型缺乏真正推理能力，认为它们只是提取预存方案而非合成新解。
- 尽管取得进展，关于AI是否具备真正推理和原创能力的争论仍在挑战人类对智能与创造力的认知。
- ‘随机鹦鹉’的隐喻折射出社会对AI变革潜力及其对人类独特性影响的深层抗拒。