"The Bitter Lesson" is wrong. Well sort of
10 months ago
- #AI Research
- #Machine Learning
- #Domain Knowledge
- Rich Sutton的《苦涩的教训》对比了基于人类知识的AI研究与依靠数据和算力的规模化方法，更倾向于后者。
- 对《苦涩的教训》的一个错误解读是认为人类知识不再必要，只需依赖数据和算力。
- 反对观点指出，所有机器学习模型的设计和指导都离不开人类知识，纯数据驱动的模型可能无法契合人类需求。
- 另一种理论认为领域知识能指导模型构建过程，在直接方法和影响性方法之间取得平衡。
- 模型构建的生命周期通常始于宽泛的、影响性强的方案，后期才会融入更直接的领域知识，尤其在评估阶段。
- 例如：大语言模型（LLMs）先通过海量数据自监督学习，再引入精选数据、人类反馈、对齐技术和专家评估。
- 领域知识对构建实用AI模型始终至关重要，随着时间推移会逐渐转向更具影响力的方法。