Colossus: The secret ingredient behind Google Cloud's Rapid Storage
a year ago
- #Storage
- #Google Cloud
- #Performance
- Google Cloud Storage推出Rapid Storage服务，采用基于gRPC的有状态流式传输协议，实现亚毫秒级读写延迟
- Rapid Storage依托谷歌内部文件系统Colossus，提供高性能、低延迟和海量扩展能力
- Colossus通过优化网络协议使用句柄实现直接磁盘访问，支持超低延迟的持久化追加写入
- 单个存储桶可支持每秒2000万次请求，特别适合AI/ML类应用场景
- 该服务通过事务锁和版本控制机制确保数据正确性，并能妥善处理客户端/服务器故障
- Rapid Storage支持与Cloud Storage FUSE集成实现类文件访问，并通过分层命名空间提升性能
- 典型应用场景包括：AI/ML数据预处理、分布式数据库、分析计算、视频流传输及日志记录