Hugging Face Storage Buckets: Mutable, non-versioned object storage at $12/TB
2 months ago
- #machine-learning
- #cloud-storage
- #huggingface
- Hugging Face推出存储桶功能，为Hub提供可变的类S3对象存储服务
- 存储桶专为不需要版本控制的中间ML文件设计，如检查点、日志和已处理数据
- 基于Xet技术构建的存储桶提供去重高效存储，降低带宽消耗并加速传输
- 预热功能使数据更靠近计算资源，提升分布式训练性能
- 可通过CLI、Python或JavaScript管理存储桶，并通过HfFileSystem实现文件系统集成
- 企业账单基于去重后存储量计算，实现成本优化
- 未来规划包括存储桶与版本化仓库间的直接传输功能，用于稳定交付物
- 早期采用者Jasper、Arcee、IBM和PixAI在私有测试阶段协助完善了该功能