Scaling On-Device GPU Inference for Large Generative Models
a year ago
- #Machine Learning
- #GPU Inference
- #Generative AI
- 生成式AI的进步使得大型机器学习模型在图像处理、音频合成和语音识别等领域实现了变革性突破。
- 设备端推理对隐私保护和效率至关重要，而GPU是目前最普及的设备端机器学习加速器。
- ML Drift是一个优化框架，它扩展了GPU加速推理引擎，使设备端能够运行参数量比现有模型多10至100倍的生成式AI工作负载。
- 该框架解决了跨GPU应用开发的挑战，并确保在移动端与桌面/笔记本平台间的兼容性。
- 相比现有开源GPU推理引擎，该框架实现了数量级性能提升。