Scaling to 1M concurrent sandboxes in seconds
5 hours ago
- #container
- #scalability
- #sandbox
- Modal 已重建其沙盒平台，以处理海量规模，能够支持数百万个并发沙盒，并以每秒数万个的速度创建。
- 像 Kubernetes 这样的传统容器平台面临 O(容器) 或 O(节点) 操作的扩展瓶颈，例如集中调度和 etcd 写入。
- Modal 的新架构消除了中心协调，使用调度服务器和工作者集群作为独立的事实来源，关键路径上没有持久化存储。
- 基准测试显示，该系统可在一分钟内创建 100 万个沙盒，中位启动时间在 0.5 秒以内，且在大规模下没有显著的性能下降。
- 这一开发涉及一个专注的原型设计工作，需要重新实现功能并优化容器启动，以应对高并发。