Executorch: On-device AI across mobile, embedded and edge for PyTorch
2 months ago
- #PyTorch
- #AI Deployment
- #On-Device AI
- ExecuTorch是PyTorch推出的端侧AI模型部署解决方案，支持从智能手机到微控制器的各类设备
- 它支持通过熟悉的PyTorch API部署大语言模型、视觉、语音和多模态模型
- 核心特性包括原生PyTorch导出、微型运行时(仅50KB)以及12+硬件后端支持
- 采用提前编译(AOT)技术实现模型导出、编译与执行的完整流程
- 支持Android/iOS/Linux/Windows/macOS及嵌入式系统等多平台部署
- 内置量化工具、内存规划器及ETDump性能分析器等开发者工具
- 提供Python/C++/Java(Kotlin)/Swift等多语言编程接口
- 支持自定义算子、动态形状、选择性构建等高级优化特性
- 鼓励开发者通过GitHub提交、Discord社区交流及问题报告参与贡献
- 采用BSD开源协议，属于PyTorch生态系统的重要组成部分