S5cmd: Parallel S3 and local filesystem execution tool
a year ago
- #CLI
- #S3
- #performance
- s5cmd是一个快速的S3及本地文件系统执行工具，支持标签补全和通配符等多种操作。
- 性能表现：s5cmd速度显著优于s3cmd和aws-cli，上传速度分别快32倍和12倍，下载速度可饱和40Gbps链路。
- 功能特性：支持上传、下载、删除、移动、复制、重命名、加密、ACL管理等广泛的对象管理任务。
- 安装方式：提供Linux、macOS和Windows预编译二进制包，支持Homebrew、MacPorts、Conda和Docker安装。
- 通配符支持：通过内存级S3对象过滤实现高效通配符操作。
- 认证机制：支持命令行参数、环境变量、EC2 IAM角色和匿名请求等多种认证方式。
- 区域检测：可根据标志位、环境变量、AWS配置文件和存储桶区域自动检测目标区域。
- 高级操作：包含服务端加密、ACL设置、标准输入流上传、通过命令文件批量操作等功能。
- 同步命令：支持S3与本地文件系统同步，可配置仅比较文件大小或删除不匹配文件。
- 重试机制：采用可调节次数的指数退避策略处理瞬时错误。
- 校验和验证：通过Content-MD5和X-Amz-Content-Sha256头确保数据完整性。
- Shell补全：支持bash、pwsh和zsh的自动补全功能。
- 基准测试：受益于Go语言的并发特性，在处理大文件和海量小文件时展现卓越性能。
- 高阶用法：包括S3对象排序、免下载查看数据、高效批量操作等场景。