The Universal Weight Subspace Hypothesis
5 months ago
- #neural-networks
- #machine-learning
- #spectral-analysis
- 跨任务训练的深度神经网络展现出相似的低维参数子空间
- 实证研究表明，无论初始化方式、任务或领域如何，神经网络都会收敛到共享的谱子空间
- 对1100多个模型的模态谱分析发现：少数主方向上的通用子空间可捕获大部分方差
- 谱分解技术揭示了跨任务和数据集持续被利用的稀疏联合子空间
- 该发现为理解深度网络内部信息的内在组织方式及模型复用性、效率带来新启示
- 有望通过训练和推理高效算法降低大规模神经网络的碳足迹