Just landed: streaming ingestion on Cloudflare with Arroyo and Pipelines
a year ago
- #StreamProcessing
- #Cloudflare
- #DataIngestion
- Pipelines开放测试版发布，支持流式数据摄入至R2存储
- Pipelines实现高吞吐量实时数据接入，无需基础设施管理
- 收购Arroyo以增强数据转换与处理能力
- Pipelines支持每秒数万次请求处理(RPS)
- 与R2数据目录集成实现高效查询
- 通过Wrangler命令简化管道创建流程
- 采用Durable Objects和SQLite的可扩展架构，实现数据即时持久化
- 未来规划包含基于SQL的数据转换及更多数据输出端支持
- 测试阶段免费使用，正式版将按数据量计费
- 通过Discord社区及示例项目促进开发者生态