Transcoding Billions of Unicode Characters per Second with SIMD (2022)
7 hours ago
- 在软件中，文本通常使用Unicode格式（UTF-8和UTF-16）表示。
- UTF-8和UTF-16之间的转码是常见操作，但比现代磁盘和网络速度慢。
- 现有的转码功能未能充分利用商用处理器上可用的SIMD指令。
- 作者设计了利用SIMD指令的转码算法，显著提高了x64和ARM系统上的速度。
- 优化后的软件作为免费开源库提供，以确保可重复性。