Deus Lex Machina: releasing a new compacting Zig tokenizer
a year ago
- #Zig
- #Tokenizer
- #Performance
- 宣布推出新型Zig分词器的Alpha测试版
- 当前支持配备AVX-512指令集的AMD64架构机器
- 分词速度比主流实现快2.75倍（单核1.4GB/秒）
- 基准测试显示速度和内存使用均有显著提升
- 特性包括SIMD化UTF-8验证、无分支位操作和向量化查表
- 未来计划包括处理512字节数据块和进一步优化
- 提供在合格机器上运行基准测试的操作指南