Questioning Representational Optimism in Deep Learning
a year ago
- #Representation Learning
- #AI
- #Neural Networks
- 本文挑战了AI系统性能提升意味着内部表征也更好的假设。
- 研究比较了通过开放式搜索进化的神经网络与通过随机梯度下降(SGD)训练的网络在生成单张图像时的表现。
- 经SGD训练的网络表现出断裂纠缠表征(FER)，而进化网络则趋近于统一因子化表征(UFR)。
- FER可能会损害模型的核心能力，如泛化性、创造力和持续学习能力。
- 论文提供了加载基因组、训练SGD网络和可视化内部表征的代码。
- 包含环境设置和项目运行的详细说明。
- 代码仓库包含项目所需的资源、数据和源代码。
- 提供了联系方式和引用信息以便进一步研究。