Apple shows how much faster the M5 runs local LLMs compared to the M4
6 months ago
- #Apple Silicon
- #Machine Learning
- #Performance Comparison
- 苹果M5芯片在运行本地大语言模型时相比M4展现出显著提升，性能增幅达19-27%
- MLX是苹果开源的机器学习框架，专为Apple芯片优化，支持神经网络训练与推理
- MLX LM支持开发者在Apple芯片Mac上本地运行Hugging Face模型，并通过量化技术降低内存占用
- M5芯片新增的GPU神经加速器大幅优化了矩阵乘法运算——这是机器学习工作负载的关键环节
- 苹果对比了M4与M5在不同模型下的token生成能力，突显M5具备更高内存带宽（153GB/s vs M4的120GB/s）
- M5芯片的图像生成速度较M4提升超3.8倍
- MLX充分利用Apple芯片统一内存架构，无需内存迁移即可在CPU/GPU上执行运算