GitHub - google-ai-edge/LiteRT-LM
6 days ago
- #edge-ai
- #open-source
- #llm-deployment
- LiteRT-LM 是谷歌开源的边缘设备上部署大语言模型的推理框架。
- 支持在 Android、iOS、Web、桌面端及物联网等多种平台进行部署。
- 具备 GPU/NPU 硬件加速、多模态处理、工具调用和广泛的模型支持特性。
- 可在 Chrome、Chromebook Plus 及 Pixel Watch 等设备上实现本地生成式 AI 体验。
- 提供命令行工具及多种语言开发指南（Kotlin、Python、C++、Swift）。