Tensor Is the Might
3 hours ago
- #tensors
- #C-programming
- #neural-networks
- 张量是扁平的数值数组，附带用于将其解释为多维对象的元数据，包括形状（shape）和步幅（strides）以提高效率。
- C语言中的基本张量库包含用于形状和张量的结构体，以及用于创建、索引和内存管理的辅助函数，通过引用计数管理视图。
- 逐元素操作（一元和二元）在CPU和GPU上均有实现，在Apple设备上使用Metal进行GPU加速，需要设备间的数据同步。
- 矩阵乘法通过CPU库（如Accelerate）和GPU内核进行优化，支持2D和批量情况，并能高效处理转置。
- 神经网络实现了手动反向传播，从线性层的前向和反向传播开始，使用交叉熵损失处理分类任务。
- 使用带有动量和梯度裁剪的随机梯度下降（SGD）等优化器更新参数，并在MNIST数据集上进行测试，快速实现高准确率。
- 该库可扩展更多层和操作，用C语言编写以控制性能和效率，在GitHub上作为单头文件提供，是训练模型的实用工具。