3 months ago
- Llama.cpp 是一种广泛使用的本地运行大语言模型的方法。
- 流行的 LLM 服务器，如 Ollama、lmstudio 和 unsloth，都使用 llama.cpp 作为其底层技术。
- Llama.cpp 是用 C++ 实现的。
- 作者更喜欢 Common Lisp 而非 C++，并相信通过适当的声明，它能达到可比的性能。
- 一个名为 llambda.lisp 的 Common Lisp 实现的 llama.cpp 已被创建。
- llambda.lisp 在 GitHub 上可用，地址是 github.com/jrm-code-project/llambda。
- 寻求对非 Gemma 架构、GPU、NPU 支持以及其他增强功能的贡献。