ArkFlow: High-performance Rust stream processing engine
a year ago
- #Data Engineering
- #Rust
- #Stream Processing
- 高性能Rust流处理引擎，具有低延迟特性
- 支持多种数据源：Kafka、MQTT、HTTP、文件及数据库
- 提供强大处理能力，包括SQL查询、JSON处理及Protobuf编解码
- 模块化设计可轻松扩展新组件
- 通过YAML文件配置日志、流、管道和输出设置
- 支持多输入源：Kafka、MQTT、HTTP、文件及测试数据生成
- 数据处理器包含JSON转换、SQL查询和批处理功能
- 输出目标支持Kafka、MQTT、HTTP及标准输出
- 可配置错误输出目标的异常处理机制
- 具备缓冲能力以处理背压和消息存储
- 提供多种用例的示例配置
- 基于Apache 2.0许可证授权