DeepSeek Elastic Compute (DSec)
4 hours ago
- 使用LLMs进行大规模智能体训练需要隔离的、有状态的执行环境，用于检查仓库、调用工具和运行命令等任务。
- DSec提供了一个统一的SDK，支持多种沙箱后端（FnCall、容器、microVM、full-VM），以满足不同的隔离和功能需求。
- 它协调跨集群的放置和生命周期管理，从独立层组合环境，并利用内存共享、回收和CPU调度来实现高密度执行。
- DSec从集群范围的分布式文件系统（3FS）按需加载镜像数据，并与强化学习框架共同设计，以将推出执行与GPU训练解耦。
- 该平台在回收闲置资源的同时保留推出状态，并缓解智能体的不当行为，如奖励篡改。
- 一个生产单元（约160个节点）每天服务约300万个沙箱，支持超过38万个并发沙箱，并保持每秒超过5000个创建操作。
- 评估显示减少了环境设置和镜像分布的开销，提高了内存效率，并在高密度过度提交下保持了延迟敏感性能。