Ollama vs. Llama.cpp – Quick Benchmark
11 hours ago
- #performance comparison
- #LLM serving
- #AI benchmarks
- 在Tesla V100 GPU上使用Qwen3 8B Q4_K_M GGUF格式模型对Ollama和llama-server进行基准测试。
- 生成速度近乎相同：llama-server为111.00 tok/s，Ollama为110.61 tok/s。
- llama-server的提示词处理速度更快：1255.29 tok/s，而Ollama为1028.02 tok/s。
- Ollama启用了提示词缓存，若未通过卸载模型禁用该功能，可能使测试结果偏高。
- 基准测试存在局限：提示词较短（60个词元）、仅测试单一模型/GPU、未涉及并发请求。
- 对于长提示词场景推荐使用llama-server；Ollama在生成速度方面表现相当。
- 虽建议将vLLM作为备选方案，但其不支持V100显卡的Volta架构。