Docker Model Runner
a year ago
- #Docker
- #AI
- #Development
- Docker推出Model Runner以简化本地运行AI模型
- 与谷歌、HuggingFace等合作提供最新AI模型和工具
- LLM本地优先开发具备性能、成本和隐私优势
- Docker Model Runner以最小设置将AI模型执行集成至现有工作流
- 支持Apple芯片GPU加速以实现更快推理
- 采用OCI Artifacts标准化模型打包便于分发和版本控制
- 生态系统包含模型、应用和硬件合作伙伴实现无缝集成
- 未来计划包括Windows GPU支持、自定义模型发布及更多集成
- 测试版现已登陆Apple芯片版Docker Desktop 4.40