Analog Foundation Models
a year ago
- #LLMs
- #Machine Learning
- #Analog Computing
- 模拟内存计算（AIMC）显著提升神经网络推理的速度和能效
- AIMC带来噪声计算和严格量化约束等挑战
- 现有大语言模型在AIMC硬件上难以实现4比特级性能
- 新方法有效适配大语言模型至噪声多、低精度模拟硬件
- Phi-3-mini-4k-instruct和Llama-3.2-1B-Instruct等前沿模型保持与4比特权重、8比特激活基线相当的性能
- 该方法同时支持低精度数字硬件的量化部署
- 模型通过测试时计算缩放获得优势，表现优于静态量化模型
- 该研究弥合了高容量大语言模型与高效模拟硬件之间的鸿沟