a year ago
- ANEMLL 是一个开源项目，致力于将大语言模型（LLMs）移植到张量处理器，最初支持苹果神经引擎（ANE）。
- 提供从模型转换到ANE上LLM推理的完整流程，实现隐私安全的端侧推理。
- 包含五大核心组件：LLM转换工具、Swift参考实现、Python示例代码、iOS/macOS示例应用以及ANEMLL-BENCH基准测试工具。
- 当前支持LLAMA 3.1（1B/8B）、DeepSeek及DeepHermes蒸馏模型，未来将扩展更多模型支持。
- 提供Swift/Python的示例应用和工具，可通过TestFlight获取测试版应用。
- 系统要求：搭载ANE的macOS Sequoia系统、16GB内存、Python 3.9及Xcode命令行工具（用于CoreML编译器）。
- 已针对Meta的LLaMA 3.2等模型进行优化，欢迎社区贡献更多模型支持。
- 项目采用MIT许可证，诚挚邀请开发者参与贡献。