Just Use Postgres for Job Queues2 months agohttps://www.dbos.dev/blog/making-postgres-queues-scale扩展基于Postgres的作业队列具有挑战性，但通过优化是可行的。SKIP LOCKED 通过允许工作进程锁定和跳过已被锁定的行来帮助解决竞争问题。将事务隔离级别从可重复读调整为已提交读可以减少序列化失败。优化索引，例如使用选择性索引和部分索引，可以降低CPU使用率并提升性能。
Job queues are deceptively tricky2 months agohttps://typesanitizer.com/blog/job-queues.html任务队列（用于调度和运行批处理作业）看似简单，但涉及复杂的细节。系统设计的三个视角：对队列的警惕性、明确的限制以及故障模型。一个实际例子涉及打包参考仓库，采用两种方法：整体打包（7小时）和增量打包（2小时）。提出的调度方案是在周末运行整体打包，在工作日运行增量打包，以平衡大小和更新及时性。重叠作业的任务队列语义包括并行产生、优先新任务、等待和优先旧任务。对于周末工作负载，在3小时间隔和7小时作业时长下，优先旧任务语义效果最佳，可避免浪费。如果没有优先旧任务语义，则需要替代解决方案，如类似cron的调度或独立作业。管理不善的队列可能导致问题，如无限制增长，需要手动修复和临时解决方案。在设计时考虑队列、限制和故障模型，可以实现更健壮和优雅的降级。理解系统的假设有助于用户评估其是否适合他们的工作负载，并避免潜在问题。