Mistral Integration Improved in Llama.cpp
9 months ago
- #llama.cpp
- #Mistral
- #GitHub
- 通知需要登录以更改设置。
- 在问题#14737中讨论了改进Mistral模型与llama.cpp的集成。
- Mistral的架构使用滑动窗口注意力机制(SWA)，默认窗口大小为4096个标记。
- 支持在llama.cpp中传递jinja模板以进行模型服务。
- 讨论更新Pydantic需求以及在PR中处理格式/样式更改。
- 计划在当前PR合并后为llama.cpp添加对Voxtral模型的支持。
- 重构和合并代码以实现更好的集成和维护。
- 发布Magistral GGUF模型，并与llama.cpp顺利运行。
- 最终审查并准备合并PR，已纳入社区反馈。