Job queues are deceptively tricky
16 hours ago
- #Job Queues
- #Fault Models
- #System Design
- 任务队列（用于调度和运行批处理作业）看似简单，但涉及复杂的细节。
- 系统设计的三个视角：对队列的警惕性、明确的限制以及故障模型。
- 一个实际例子涉及打包参考仓库，采用两种方法：整体打包（7小时）和增量打包（2小时）。
- 提出的调度方案是在周末运行整体打包，在工作日运行增量打包，以平衡大小和更新及时性。
- 重叠作业的任务队列语义包括并行产生、优先新任务、等待和优先旧任务。
- 对于周末工作负载，在3小时间隔和7小时作业时长下，优先旧任务语义效果最佳，可避免浪费。
- 如果没有优先旧任务语义，则需要替代解决方案，如类似cron的调度或独立作业。
- 管理不善的队列可能导致问题，如无限制增长，需要手动修复和临时解决方案。
- 在设计时考虑队列、限制和故障模型，可以实现更健壮和优雅的降级。
- 理解系统的假设有助于用户评估其是否适合他们的工作负载，并避免潜在问题。