Opsqueue: Lightweight batch processing queue for heavy loads – now open-source
10 months ago
- #queueing-system
- #batch-processing
- #open-source
- 开源发布opsqueue——一个专为批处理操作设计的强规范队列系统
- 针对操作由一方系统生成、另一方系统执行的场景优化，重点提升吞吐量与并行处理能力
- 提出'生成-执行'模式（生产者-消费者的特化版本），专注处理毫秒至秒级耗时的操作
- 通过SQLite管理元数据、对象存储承载数据，突破Redis/Postgres等现有队列系统的扩展性与容错性限制
- 允许消费者自主决定操作处理顺序，支持数据中心亲和性或用户公平性等灵活执行策略
- 采用可分块机制降低协调开销，根据操作时长动态调整块大小以平衡并行效率与通信成本
- 集成OpenTelemetry追踪功能进行监控，实测队列通信亚毫秒级开销
- 核心采用Rust实现保障性能与可靠性，通过FFI绑定提供Python客户端支持
- 历经生产环境验证，每小时稳定处理超100万次操作且开销极低
- 推荐新项目直接采用，或替代现有面临扩展性问题的临时解决方案