Game over for pure LLMs. Even Rich Sutton has gotten off the bus
8 months ago
- #AI
- #LLMs
- #Rich Sutton
- 图灵奖得主Rich Sutton以其2019年发表的《苦涩的教训》一文闻名，主张通过规模化而非人工设计推动AI进步。
- Sutton的论述虽具影响力，但被包括本文作者在内的批评者认为存在夸大和缺陷。
- Sutton近期言论显示立场转变，更倾向于认同对纯大语言模型规模化的批判。
- 包括Yann LeCun和Demis Hassabis在内的AI领军人物已开始批判大模型，Sutton成为最新加入者。
- 这类批判强调大模型的局限性，指出需要发展世界模型、强化学习及神经符号方法。
- 应加大对纯大模型规模化之外探索的投入，以突破现有技术瓶颈。