Microsoft researchers developed a hyper-efficient AI model that can run on CPUs
a year ago
- #Microsoft
- #AI
- #Machine Learning
- 微软研究人员开发了BitNet b1.58 2B4T，这是迄今为止规模最大的1位AI模型。
- BitNet b1.58 2B4T采用MIT开源协议，可在包括苹果M2在内的CPU上运行。
- BitNet将权重量化为三值（-1、0、1），显著提升内存和计算效率。
- 该模型具有20亿参数，训练数据达4万亿token（约合3300万本书籍）。
- 在基准测试中，其性能超越同规模模型（如Meta的Llama 3.2 1B、谷歌的Gemma 3 1B和阿里的Qwen 2.5 1.5B）。
- 相比同类模型，BitNet b1.58 2B4T运行速度更快且内存占用更低。
- 需配合微软定制框架bitnet.cpp使用，当前版本暂不支持GPU加速。
- BitNet在资源受限设备中潜力显著，但存在生态兼容性挑战。