Can modern LLMs actually count the number of b's in "blueberry"?18 hours agohttps://minimaxir.com/2025/08/llm-blueberry/
Ollama vs. Llama.cpp – Quick Benchmark16 days agohttps://blawg.pages.dev/ollama-vs-llama-server在Tesla V100 GPU上使用Qwen3 8B Q4_K_M GGUF格式模型对Ollama和llama-server进行基准测试。生成速度近乎相同：llama-server为111.00 tok/s，Ollama为110.61 tok/s。llama-server的提示词处理速度更快：1255.29 tok/s，而Ollama为1028.02 tok/s。Ollama启用了提示词缓存，若未通过卸载模型禁用该功能，可能使测试结果偏高。基准测试存在局限：提示词较短（60个词元）、仅测试单一模型/GPU、未涉及并发请求。对于长提示词场景推荐使用llama-server；Ollama在生成速度方面表现相当。虽建议将vLLM作为备选方案，但其不支持V100显卡的Volta架构。