Memory is slow, Disk is fast – Part 2
8 months ago
- #hardware
- #optimization
- #performance
- 直接从磁盘获取数据可能比内存缓存更快，这是硬件发展趋势带来的变化。
- 磁盘带宽呈指数级增长，而内存访问延迟却停滞不前，这对传统缓存理念提出了挑战。
- 一项统计数据集中数字10出现次数的实验表明，优化后的磁盘读取性能可以超越内存访问。
- 向量化指令和循环展开通过充分利用CPU能力，显著提高了处理速度。
- 使用io_uring实现直接磁盘访问配合优化流水线，由于降低了内存延迟开销，其性能可超越mmap()方案。
- 内存访问模式（尤其是使用mmap()时）带来的延迟会成为性能瓶颈，尽管带宽更高。
- 要实现性能扩展，无论是磁盘还是内存，都需要通过高效数据流式传输来发挥带宽优势而非受限于延迟。
- 现代硬件发展趋势表明，传统方法可能无法充分利用可用带宽，因此需要新的技术手段。
- 实验证明，经过精心优化后，基于磁盘的解决方案在某些工作负载下可以达到或超越内存性能。
- 未来硬件发展可能进一步模糊内存与磁盘的性能界限，这要求我们采取更具适应性的策略。