Polar Factor Beyond Newton-Schulz – Fast Matrix Inverse Square Root
2 months ago
- #matrix computation
- #machine learning
- #numerical methods
- 文章讨论了高矩阵正交极因子的计算方法，重点探讨了牛顿-舒尔茨迭代之外的替代方案。
- 关键技术包括极小极大多项式、雅可比预处理和数值稳定性的在线验证。
- 重点介绍了μ优化器（与带动量的signSGD或Lion相似）在机器学习中的实证成功。
- 目标是通过近似动量矩阵奇异值的符号函数来高效计算极因子。
- 文章强调需要实现快速GPU计算、bf16格式的数值稳定性，以及对接近1的奇异值进行验证。
- 提出两阶段方案：第一阶段包含安全缩放和全局极小极大步骤，第二阶段侧重采用对称环绕1步骤的激进局部优化。
- 该方法涉及构建格拉姆矩阵、应用无偏预处理，并使用重启块保障bf16格式下的稳定性。
- 建议通过预计算表格在线选择系数，以优化性能和稳定性。
- 文章最后给出极因子计算的完整算法，包含验证步骤和可选优化环节。