Show HN: We made our own inference engine for Apple Silicon
10 months ago
- #AI
- #Apple Silicon
- #Inference Engine
- 专为Apple Silicon优化的AI模型高性能推理引擎。
- 简洁高层API，支持混合架构（GPU内核或MPSGraph）。
- 统一模型配置，轻松添加新模型。
- 可追踪计算过程，确保与基准实现的正确性。
- 利用Apple设备的统一内存架构。
- 通过Cargo.toml添加uzu依赖项。
- 创建包含模型和配置的推理会话(Session)。
- 支持CLI模式，提供run、serve等命令。
- 使用自有模型格式，需通过lalamo工具导出模型。
- 提供预构建的Swift框架(uzu-swift)，支持SPM集成。
- 基于MIT许可证开源。