I/O is no longer the bottleneck? (2022)
4 months ago
- #I/O
- #vectorization
- #performance
- Ben Hoyt的博客文章挑战了关于I/O是编程面试问题（如统计词频）瓶颈的传统认知
- 顺序读取速度已显著提升，冷缓存下可达1.6GB/秒，热缓存下可达12.8GB/秒
- 针对词频统计的优化版C语言实现仅达到278MB/秒，远低于预期速度
- 向量化尝试将性能提升至330MB/秒，但仍落后于顺序读取速度
- 标准工具'wc -w'因需处理不同空白字符，性能较差，仅245.2MB/秒
- 手动优化的AVX2向量化词频统计实现达1.45GB/秒，约为顺序磁盘读取速度的11%
- 结论支持磁盘速度已迎头赶上，使得I/O相较CPU处理而言不再是主要瓶颈