LF AI and Data Hosts Vortex Project for Data Access for AI and Analytics
9 months ago
- #AI
- #Data Storage
- #Open Source
- LF AI & Data基金会宣布启动Vortex项目——一种专为高性能数据系统设计的开放式可扩展列式存储格式
- Vortex由SpiralDB贡献，并获得微软、Snowflake、Palantir和英伟达等行业巨头的支持
- 该格式提供尖端性能，随机访问读取速度比Apache Parquet快100倍，写入速度快5倍
- 针对现代工作负载优化，支持GPU训练及S3/GCS等云对象存储
- 采用可扩展架构支持新型压缩技术，并与Apache Arrow/Spark等工具集成
- 项目通过实现GPU直接解压消除CPU瓶颈，提升AI训练数据访问效率
- 业界领袖指出Vortex有望解决存储瓶颈，推动AI开源数据处理发展