Parsing Protobuf Like Never Before
10 months ago
- #Performance
- #Protobuf
- #Go
- 作者曾参与高性能Protobuf项目开发，包括C++和Rust运行时环境，并整合了目前最快的Protobuf运行时UPB。
- hyperpb是将UPB优化技术引入Go语言的新库，其性能超越现有Go Protobuf解析器（如Protobuf Go和vtprotobuf）。
- UPB采用动态解析方案，通过数据表和类虚拟机解释器实现，避免了传统生成式解析器的固有缺陷。
- 由于Go的C语言外部函数接口（cgo）效率低下，hyperpb采用纯Go开发以规避cgo的性能损耗。
- hyperpb充分利用Go语言特性进行优化：寄存器ABI、无未定义行为、强大的反射系统等。
- 该库包含Protobuf解析的JIT编译器，利用运行时生成的性能画像进行优化（在线PGO技术）。
- hyperpb提供简洁API，专注只读场景（如数据校验），其编译步骤类似regexp.Compile模式。
- 核心优化技术包括：零拷贝字符串处理、重复字段预加载、映射表优化、内存池复用、真联合体实现等。
- 解析器虚拟机设计着重寄存器最大化利用和栈溢出最小化，特别优化了间接分支预测性能。
- 未来优化方向包括：varint解析的SIMD指令加速、更智能的解析调度策略、小子消息的内联分配等。