All in on MatMul? Don’t Put All Your Tensors in One Basket!
7 months ago
- #Innovation
- #AI Hardware
- #Algorithmic Bias
- 硬件彩票现象指人工智能理念的兴起取决于其与主流硬件/软件架构的契合度，而非内在优越性
- 现代芯片偏爱深度神经网络和矩阵乘法(MatMul)，这种偏好使研究资源向这些方法倾斜，可能扼杀替代性技术路线
- 专用AI芯片造成技术惯性，使非矩阵乘法核心的创新理念难以获得发展空间或公正评估
- 马太效应在AI领域显著体现：硬件偏袒特定算法，这些算法形成垄断后又催生更专用的芯片
- 大型计算集群和资本的可获得性主导研究方向，迫使学界优先考虑短期回报而非突破性范式
- 历史表明专用计算机常因市场狭窄和摩尔定律的规模经济效应而失败
- 矩阵乘法核心AI的统治地位引发思考：硬件彩票仍是自然选择，还是已演变为计划经济
- Rich Sutton提出的'苦涩教训'指出：最能利用算力增长的算法（如DNN）终将胜出，这强化了现有范式
- 硬件同质化可能导致创新单一化，掩盖对替代性硬件范式的需求
- 神经生物学启示的稀疏化、事件驱动机制与密集矩阵乘法AI形成对比，暗示未来突破方向
- 算法突破（如kD树）可媲美数十年硬件进步，彰显软件创新的重要性
- 应对硬件彩票的两大策略：构建多元化硬件生态，或全力押注现有成功硬件
- 折中方案是增强专用硬件的通用性和可编程性，正如GPGPU的发展路径
- 硬件-算法协同设计可利用AI发现高效计算原语，破解创新领域的先有鸡还是先有蛋困境
- 无乘法器加速器(Stella Nera)等案例证明替代性计算基质具有实用价值
- 真正的技术大奖在于能开启计算新时代的硬件-算法组合，而非单纯的算力或专用化