Does the Bitter Lesson Have Limits?
10 months ago
- #AI
- #Computation
- #Organizational Theory
- '苦涩的教训'强调，尽管以人为中心的方法在短期内有效，但从长远来看，利用计算的通用方法才是最有效的。
- Rich Sutton的文章列举了国际象棋、围棋、语音识别和计算机视觉等历史案例，证明计算规模扩大带来了突破性进展。
- 这一教训与哥白尼革命、达尔文思想等对人类自我中心的打击一脉相承，都在削弱人类在宇宙中的特殊地位。
- Ethan Mollick将'苦涩的教训'与组织的'垃圾桶模型'对比，指出后者混乱无序、缺乏文档记录的特性使AI应用困难重重。
- 实践中的挑战包括需要高质量客观数据，以及难以界定清晰的组织目标，这些都制约着'苦涩的教训'的应用。
- 国际象棋引擎Stockfish等案例表明，将人类知识与高效计算相结合，可能胜过单纯扩大计算规模的方法。
- HRM等最新模型证明，针对特定任务的小型模型无需庞大算力也能实现高性能。
- '苦涩的教训'虽是实用启发，但需与成本效益、实际应用性等现实约束取得平衡。