Running Qwen 3.6 Locally on a Mac Mini M4 with 16GB RAM
9 days ago
- #Qwen 3.6
- #Mac Mini M4
- #local AI inference
- Qwen 3.6-35B-A3B 是一个拥有 350 亿参数的混合专家模型，每 token 仅激活 30 亿参数，使其可通过 llama.cpp 的内存映射（mmap）在配备 16GB RAM 的 Mac Mini M4 上运行。
- 在 16GB 内存的 Mac Mini M4 上，该模型解码速度约为 17 tokens/秒，无交换内存使用，约 81% 内存空闲，适合聊天和代码生成等交互式任务。
- 多种工具可在本地运行该模型：llama.cpp 的 mmap 最可靠，Ollama 易于设置，LM Studio 提供图形界面和 16GB 上的 MLX 优化，而原始 MLX 推理速度最快但缺乏工具调用功能。
- Ollama 0.19 中的 MLX 后端需要 32GB+ 内存以实现更高速度（约 112 tok/s），而在 16GB 上则默认使用 llama.cpp 后端；LM Studio 的 MLX 可在 16GB 上运行，内存占用更低且速度更快。
- 作者的日常设置使用 Ollama 作为后台 API，LM Studio 用于快速交互聊天，llama.cpp 用于脚本控制，并提供了 GGUF 量化文件和基准测试等资源的链接。