GitHub - Blaizzy/mlx-vlm: MLX-VLM is a package for inference and fine-tuning of Vision Language Models (VLMs) on your Mac using MLX.
7 days ago
- #multimodal AI
- #model optimization
- #MLX framework
- MLX-VLM 支持在 macOS 上使用 MLX 库进行视觉语言模型的推理和微调。
- 可通过 pip 进行安装，并通过命令行接口（CLI）命令运行文本、图像、音频和多模态生成模型。
- 功能包括 CUDA 激活量化、多图像聊天、视频分析以及用于 KV 缓存压缩的 TurboQuant，可显著降低内存使用。
- Python 脚本可通过 `load` 和 `generate` 等 API 加载模型，并应用聊天模板以格式化提示。
- 提供基于 Gradio 的聊天界面和网络服务器，支持 OpenAI 兼容的聊天完成端点及动态模型加载响应。
- TurboQuant 使用量化方案压缩 KV 缓存，在长上下文场景下实现超过 75% 的内存减少同时保持性能。
- 支持通过 LoRA 和 QLoRA 技术进行微调，相关细节在单独的文档中有详细说明。