Accurate Models of AMD Matrix Cores
2 hours ago
- 近年来的GPU上的矩阵乘法器不符合IEEE 754浮点标准。
- 累加器宽度、舍入、归一化、下溢/上溢、次正规数和特殊输入等功能因供应商和架构而异。
- 没有记录实现细节，跨设备的结果无法重现。
- 该研究描述了三种AMD GPU架构的数值行为：CDNA 1（MI100）、CDNA 2（MI210/250）和CDNA 3（MI300A/300X）。
- 测试向量针对所有支持的输入格式设计，以覆盖数值特性。
- 基于MATLAB的软件模型为每种架构开发，并使用1000万个随机测试向量验证了位级可重现性。
- 这些模型被用于两个数值应用中，以比较AMD矩阵核心与NVIDIA张量核心之间的精度差异。