Block Number Formats Are Direction Preservers
2 months ago
- #vector direction
- #block number formats
- #machine learning
- 机器学习中的块数字格式保留了向量方向，这对许多ML计算至关重要。
- 这些格式用有限精度表示数字，但被大型神经网络良好容忍，精度损失极小。
- 块格式将幅值和方向表示解耦，将每个块近似为方向×幅值。
- 逐块保持方向确保了整个向量方向得以保留，因为误差不会灾难性累积。
- 随机梯度下降和注意力机制等核心ML运算高度依赖向量方向。
- 块浮点格式的成功在于保留了向量几何特性，而非单个数字精度。
- 潜在扩展方向包括张量级缩放、受限缩放因子，以及基于经验的块大小指导原则。