Reduce GVisor Cold Starts with GPU Snapshotting
11 days ago
- #GPU Optimization
- #Cold Start Reduction
- #AI Infrastructure
- AI模型在生产环境中的GPU冷启动可能导致较长的启动时间，影响扩展能力和资源利用率。
- Cerebrium通过使用CPU和GPU内存快照，可在数秒内恢复完全初始化的容器，将冷启动时间减少80%以上。
- 检查点机制涉及暂停执行、将CPU/GPU内存转储到文件、上传至存储以及按需恢复。
- 高层架构包括检查点服务和经过修改的gVisor containerd shim，用于决定是正常启动还是恢复运行。
- 恢复速度很快，例如，从S3恢复一个9GB容器的镜像仅需2.25秒，而完整冷启动需要50秒。
- 实际应用中的挑战包括处理网络状态、多进程、本地运行时文件，并确保跨环境兼容性。
- 基准测试显示，与不使用快照相比，Cerebrium平均将冷启动时间减少了71%，且比Baseten和Modal等竞争对手更快。
- 检查点机制非常适合确定性初始化的任务，例如框架导入、模型加载和CUDA图捕获。