Ollama 0.12.11 Brings Vulkan Acceleration
6 months ago
- #AI
- #ollama
- #Vulkan
- ollama 0.12.11版本新增了对Vulkan API的支持，作为AMD ROCm和NVIDIA CUDA加速的替代方案。
- Vulkan支持对开源驱动、不支持ROCm的老款AMD显卡以及使用RADV驱动的系统尤为有利。
- 测试显示，在某些情况下Vulkan性能可超越ROCm，Llama.cpp的测试结果印证了这一点。
- 该版本还新增了Logprobs的API支持，并在新版应用中加入了WebP图像格式支持。
- 改进了渲染性能，并在调度模型时优先选择独立显卡而非集成显卡。
- 本次更新还包含多项其他问题修复和功能增强。