The Einstein test: what happens when AI tries to rediscover relativity?
20 days ago
- 爱因斯坦的广义相对论被提议作为测试AI能否取得堪比人类天才的突破的基准。
- 德米斯·哈萨比斯建议用1911年以前的知识训练一个大型语言模型，看看它能否重新发现广义相对论，以此作为对通用人工智能的测试。
- 多个团队构建了仅使用截至特定日期数据训练的“复古”或“历史”大语言模型，但早期结果更多地揭示了当前AI的局限性而非优势。
- 像爱因斯坦那样的科学突破需要溯因推理——创造性的跳跃——而不仅仅是当前AI所擅长的从大型数据集中进行归纳式模式发现。
- 一个轨道力学AI模型未能推断出牛顿真正的万有引力定律，反而为每个行星系统生成了不同的错误定律。
- 一个OpenAI聊天机器人推翻了一个存在80年的保罗·埃尔德什猜想，展示了概念上的进步，但它是结合了现有想法，而非像爱因斯坦那样凭空飞跃。
- 迈克尔·赫拉的“复古”大语言模型Machina Mirabilis在量子现象方面展现出一些直觉的闪现，但大多缺乏真正的理解和强大的内部世界模型。
- 尼克·莱文试图构建一个仅使用1930年前数据训练的模型，但遇到了“泄漏”数据的问题——这些数据意外包含了后来的知识，使得严格的历史截断难以实现。
- 苏黎世大学的Ranke-4B项目测试了具有不同截止日期的历史大语言模型，以寻找“天才火花”而非完整的突破性发现。
- 一个主要挑战是，大语言模型可以生成许多可能的理论，但要将正确或有希望的理论与虚假的理论区分开来仍然困难，这与数学中步骤可以被验证不同。