OpenTelemetry Protocol with Apache Arrow
a year ago
- #OpenTelemetry
- #Rust
- #Apache Arrow
- OpenTelemetry与Apache Arrow协议（OTel-Arrow）第二阶段计划公告
- 目标：通过Apache Arrow桥接OpenTelemetry数据，实现高效、零拷贝的结构化数据交换
- 重点：探索基于Rust的管道性能及其与OpenTelemetry Collector（Golang生态）的集成
- 研究方向：从SDK层开始的端到端零拷贝列式数据处理
- 计划：将Apache DataFusion库集成至OpenTelemetry管道，实现与数据湖的直接连接
- 开发：用Rust构建端到端OTAP管道，将遥测数据嵌入Arrow记录批次
- 兼容性：持续支持Golang组件，确保Go与Rust管道的协同工作
- 贡献者：Laurent Quérel（F5）和雷黄（Greptime）提供Rust原型及指标转换方案
- 进展：成立OTel-Arrow特别兴趣小组（SIG）并建立定期会议机制