There Are No New Ideas in AI Only New Datasets
a year ago
- #Machine-Learning
- #Data-Driven
- #AI-Progress
- AI的进步更多源于新数据集而非新想法
- 重大AI突破（深度神经网络、Transformer、RLHF、推理能力）均由新数据源推动实现
- 监督学习和强化学习技术并不新颖，但应用于新数据集后产生了突破
- AI的下一个范式转变很可能来自解锁视频（YouTube）或具身数据（机器人）等新数据源
- 现有AI模型可能因数据集限制而遭遇瓶颈
- 不同模型在相同数据训练下表现趋同的现象，凸显了数据比模型架构更重要
- 未来AI发展或将聚焦提升效率与扩展性，以利用更丰富的数据源