Running Gemma 4 26B at 5 tokens/sec on a 13-year-old Xeon with no GPU
8 hours ago
- #Legacy Hardware
- #AI Inference
- #Open Source
- 作者在一台没有 GPU 的 13 年历史双路 Xeon 服务器上成功运行了谷歌的 Gemma 4 26B 模型，解码速度达到了每秒约 5 个 token。
- 该项目需要为 ik_llama.cpp 分支打补丁，以使其能在不支持 AVX2 指令集的 CPU 上运行，Claude AI 协助诊断并修复了模型图运算中存在的静默内核切换漏洞。
- 修复包括编译时调整和运行时解决方法，以处理缺失的 AVX2 指令，使得旧硬件能够经济高效地运行现代 MoE 模型，作为一种本地备用方案。