Show HN: Cactus – Ollama for Smartphones
10 months ago
- #AI
- #Cross-platform
- #Local Deployment
- 用于在本地应用中部署LLM/VLM/TTS模型的跨平台框架
- 支持Flutter和React-Native实现跨平台开发
- 兼容Huggingface上的任何GGUF模型（如Qwen、Gemma、Llama、DeepSeek）
- 高效运行LLM、VLM、嵌入模型和TTS模型
- 支持从FP32到2位量化的多种模型以适应设备性能
- 内置MCP工具调用功能（如提醒、图库搜索等AI任务）
- 复杂任务或设备故障时可回退至云端模型
- 提供Jinja2支持的聊天模板和令牌流式传输
- 包含Flutter与React-Native的安装及使用示例
- 提供多种云端回退模式：local/localfirst/remotefirst/remote
- 采用C/C++编写后端，兼容手机/电视/笔记本等广泛设备
- 附Flutter、React-Native及C/C++的构建配置指南
- 开放贡献通道，含问题修复和功能添加规范
- 提供不同设备上的模型性能基准测试数据