Sutskever and LeCun: Scaling LLMs Won't Yield More Useful Results
6 months ago
- #AI
- #LLMs
- #Research
- 伊利亚·苏茨克维（Ilya Sutskever）与杨立昆（Yann LeCun）认为，大型语言模型（LLM）正触及能力天花板，标志着AI发展将从『规模扩张时代』转向『研究突破时代』
- 苏茨克维将AI发展划分为三个阶段：研究期（2012–2020）、规模扩张期（2020–2025）和回归研究期（2025起），强调未来需要创新思想而非单纯堆砌算力
- 当前LLM虽在基准测试中表现优异，却因幻觉问题、行为脆弱性和泛化能力差等缺陷，难以满足现实场景需求
- 苏茨克维的新公司Safe Superintelligence Inc.（SSI）专注于超级智能的长期研究、新型训练方法与安全机制，而非消费级产品开发
- 杨立昆指出LLM对物理世界认知浅薄，主张发展『世界模型』及JEPA等架构，通过环境交互实现学习
- 两位专家虽都认同比拼参数规模不可持续，但对突破路径存在分歧：一方主张现有范式内改进，一方呼吁彻底革新方法论
- 对开发者而言，这意味着需更关注具体用例、数据质量与用户体验，而非盲目追求模型规模，并准备迎接多样化模型架构与混合技术栈
- 未来十年AI发展将由新型架构研究、智能系统与人类工作流的深度融合所定义，彻底超越『预测下一个词』的范式