Transformer Lab
a year ago
- #LLM
- #AI
- #OpenSource
- Transformer Lab 由 Mozilla 通过 Mozilla Builders 计划提供支持。
- 这是一个开源平台，无需编码即可在本地构建、微调和运行大语言模型（LLMs）。
- 旨在让软件开发人员无需Python或机器学习专业知识即可将LLMs集成到产品中。
- 功能包括一键下载热门模型（如Llama3、Phi3、Mistral等），支持从Huggingface获取。
- 支持跨硬件微调，包括Apple Silicon（MLX）和GPU（Huggingface）。
- 提供RLHF和偏好优化技术，如DPO、ORPO、SIMPO及奖励建模。
- 兼容Windows、MacOS和Linux操作系统。
- 具备聊天功能、预设提示词、聊天历史和批量推理支持。
- 支持多推理引擎：MLX、Huggingface Transformers、vLLM和Llama CPP。
- 集成评估工具（如Eleuther Harness、LLM as a Judge和红队评估）。
- 配备RAG（检索增强生成）功能，支持拖拽文件上传。
- 允许通过HuggingFace或拖拽自定义数据集构建数据集。
- 提供嵌入计算、完整REST API及云/本地部署选项。
- 支持跨平台模型转换（Huggingface/MLX/GGUF）和插件扩展。
- 包含提示词编辑、系统消息调整和透明化的推理日志功能。