How I accidently created the fastest CSV parser ever made
8 months ago
- #simd
- #csv-parsing
- #performance
- 该项目最初是一个有趣的实验，旨在通过无分支编程和SIMD（单指令多数据）技术创建极速CSV解析器。
- 传统CSV解析器因分支预测错误、缓存未命中和单字节处理而低效，而支持SIMD的现代CPU能突破这些瓶颈。
- 该解析器利用AVX-512（英特尔512位宽SIMD指令集）并行处理64个字符，性能实现飞跃提升。
- 内存映射文件（mmap）和大页技术（MADV_HUGEPAGE）等优化手段显著降低内存开销并提高吞吐量。
- 基准测试显示其性能碾压现有方案：Node.js绑定版速度达60.80 MB/s，1TB数据处理仅需约10分钟。
- 该项目凸显了理解CPU架构、缓存局部性和内存访问模式对高性能计算的关键价值。
- 解析器已在GitHub开源并发布npm包，提供同步/流式两种API以适应不同场景需求。
- 这些技术的未来应用将超越CSV解析，可扩展至其他需要高吞吐量的数据密集型任务。