Hill Space: Neural nets that do perfect arithmetic (to 10⁻¹⁶ precision)
10 months ago
- #neural networks
- #mathematical operations
- #optimization
- 神经网络在基础算术和离散选择任务上常常表现不佳。
- 约束条件W = tanh(��) �� σ(M��)通过允许计算而非学习最优权重，实现了离散选择中的系统性可靠性。
- 特定权重配置可生成机器精度的数学运算，包括矩阵乘法、指数基元及三角运算。
- 该约束创建的希尔空间将无界学习权重映射到[-1,1]范围，引导优化朝向离散选择。
- 论文探讨了希尔空间学习动力学、新基元框架、实验及实现细节。