Philosophical Thoughts on Kolmogorov-Arnold Networks
9 months ago
- #neural networks
- #philosophy of science
- #machine learning
- 科尔莫戈罗夫-阿诺德网络（KANs）是作者与合作者提出的一种新型神经网络，不同于多层感知机（MLPs）。
- KANs与MLPs具有相同的表达能力，但在优化性、泛化性和可解释性等涌现特性上存在差异。
- 从哲学角度看，MLPs符合整体论（'整体大于部分之和'），而KANs遵循还原论（复杂的'原子'但简单的组合）。
- KANs更贴近传统科学研究的还原论思维，因此在科学任务中更具潜力。
- MLPs在视觉、语言等非科学领域表现优异，而KANs更适合需要符号公式编译的任务。
- 作者强调必须通过实证实验结合哲学思辨，才能完整理解KANs与MLPs的特性。