Bit is all we need: binary normalized neural networks
8 months ago
- #Machine Learning
- #Binary Models
- #Neural Networks
- 采用单比特参数（0或1）的二进制归一化神经网络各层结构介绍
- 二进制归一化层可灵活适配全连接层、卷积层、注意力层等各类层结构，仅需对传统层进行微调
- 通过多类别图像分类和语言解码器模型验证有效性，性能媲美32位精度模型
- 二进制归一化模型内存占用仅为传统模型的1/32
- 无需专用硬件，现有计算机系统通过1比特数组即可轻松实现部署
- 具备在移动设备、普通CPU等低成本硬件上部署的潜力