双语

Database Traffic Control
22 days ago
- Postgres 缺少内置流量管理机制，因此在查询高峰时容易发生性能下降或系统崩溃。
- PlanetScale 推出 Database Traffic Control™，能够通过查询模式、应用名称、用户和自定义标签等规则，实现对查询资源的实时预算和限制。
- Traffic Control 允许设置 CPU、并发量和查询时间的限制，支持警告和执行两种模式，可对过量查询进行限速或阻断。
- 其应用场景包括：处理异常查询的事件响应、基于优先级的流量调控、隔离 AI 代理流量，以及在多租户应用中对付费层级进行优先级排序。
- 该功能可通过 PlanetScale 仪表板、API 和 CLI 使用，支持自动化预算创建和 sqlcommenter 标签，以实现更精细的流量分类管理。
Postgres transactions are a distributed systems superpower
20 days ago
- 工作流和应用数据可部署于同一Postgres数据库中，支持在单一事务内完成更新，从而简化容错机制。
- 同库部署允许事务性步骤通过将数据库更新与检查点合并至单个事务中，实现精确一次执行语义，无需额外幂等性逻辑。
- 可在同一数据库内通过用户定义函数实现事务性工作流发件箱模式，确保原子化更新与通知，相比独立系统显著降低运维复杂度。
- DBOS提供基于Postgres持久化执行的技术工具，助力构建可扩展、高可靠的系统。
Understanding Postgres 19 Property Graphs
17 days ago
- Postgres 19 属性图允许将现有表声明为节点和边，而无需移动数据，查询被编译为关系型连接操作。
- 属性图由顶点和边组成，通过 CREATE PROPERTY GRAPH 作为外键结构上的覆盖层定义，并使用 MATCH 模式进行查询。
- 维度表映射为顶点，纯连接表映射为边，而具有多个外键的事实表通常成为中心顶点，并拥有单独的边表。
- 关键列不会自动作为可查询属性；它们必须在 PROPERTIES 中列出。不支持可变长度路径，深度遍历需要使用递归公共表表达式。
- 通过在同一张表的 VERTEX TABLES 和 EDGE TABLES 中设置别名，可以使其同时作为顶点和边使用，避免重复存储。
- 属性图擅长固定形状的模式匹配（例如查找相连实体），但缺乏对可变长度路径或图算法（如 PageRank）的支持。
- 该功能与 Postgres 的优化器和工具（例如用于内省的 \dG）集成，使其适用于对现有模式进行图形化查询，而无需依赖外部图数据库。
Looking Forward to Postgres 19: Split Personality
17 days ago
- Postgres 19 引入了新的 SPLIT PARTITION 和 MERGE PARTITIONS 语法，用于重新组织分区，简化了先前需要多个手动步骤的操作。
- SPLIT PARTITION 允许通过单个命令将一个分区拆分为更小的分区，自动将行移动到正确的新分区。
- MERGE PARTITIONS 将相邻的分区合并为一个，减少开销并保持数据完整性，无需手动迁移。
- 这些操作支持默认分区，可以轻松地将通用默认分区中的数据重新分配到特定分区。
- SPLIT 和 MERGE 都要求分区相邻且无间隙，Postgres 会在违反规则时提供清晰的错误消息。
- 在拆分或合并期间，在单个分区上定义的本地索引和约束会丢失，而从父表继承的索引和约束会被重新创建。
- 这些命令在整个分区表上采取 ACCESS EXCLUSIVE 锁，直到完成前会阻塞读取和写入，目前还没有 CONCURRENTLY 变体。
- 拆分和合并适用于 RANGE 和 LIST 分区，但不适用于 HASH 分区，这可能对某些用户构成限制。
- 这些功能解决了长期以来的需求，但由于锁定问题，应在维护窗口中使用，以等待未来改进，如并发操作。
Do you really need separate systems when you already have Postgres?
16 days ago
- Postgres 通常可以替代独立的系统，如 Redis、Elasticsearch、MongoDB 等，用于缓存、搜索、队列等功能，从而降低运维负担。
- 运行多个数据库和微服务会导致维护工作增加、监控复杂性上升、成本提高以及调试挑战加剧，而且这种情况往往过早发生。
- 大多数项目并不需要达到‘网络规模’，可以依赖像 Postgres 这样的‘无趣’技术，正如 Notion 和 Netflix 等大公司所做的那样。
- Postgres 提供内置或基于扩展的解决方案，涵盖缓存（UNLOGGED 表）、任务队列（SKIP LOCKED）、全文搜索（tsvector）、文档存储（JSONB）、向量搜索（pgvector）等多种需求。
- 只有在证明 Postgres 能力不足并愿意承担相应的运维成本后，才应引入专用基础设施，以避免不必要的复杂性。
Why we built yet another Postgres connection pooler
15 days ago
- PgDog是一个专为扩展数据库而设计的Postgres代理，能更有效地管理连接池。
- 与其他连接池（如PgBouncer）不同，它允许客户端继续使用SET命令和LISTEN/NOTIFY功能，无需修改代码。
- 它使用内置的SQL解析器来管理连接状态，并通过Tokio支持多线程，以实现更好的性能和处理流量突发。
- 该工具已稳定运行一年多，是开源项目，旨在消除传统连接池带来的各种权衡问题。
Multigres Supports Listen/Notify Across Pooled Connections
14 days ago
- Multigres解决了Postgres LISTEN/NOTIFY的扩展性问题，通过维护一个共享监听连接来处理所有客户端的订阅，避免了每个客户端会话的依赖。
- 连接池使用一个单独预留的后端连接进行监听，通过通道引用计数机制，无论客户端数量如何，每个通道只执行一次LISTEN/UNLISTEN，确保资源高效利用。
- 通知通过两级扇出异步传递：从连接池经由gRPC流到网关，再通过有界队列传递到客户端连接，以防止阻塞并匹配Postgres尽力而为的投递特性。
- Multigres通过缓冲操作并在提交时仅应用净变更来确保LISTEN/UNLISTEN的事务行为，并通过就绪握手消除竞态条件，保证不丢失通知。
- 该系统通过重放活跃通道处理重连等边缘情况，匹配Postgres的特定行为（如通道名截断和引号处理），并计划未来改进，如跨分片NOTIFY和流合并。
Postgres locks do not scale
13 days ago
- 数据库CPU系统时间飙升至100%，导致服务中断，没有明显原因如新部署或AWS事件。
- 尝试通过RDS重启数据库失败，持续一小时后，通过安全组阻止实例连接作为替代缓解措施。
- 连接排空后数据库恢复，但仍面临高用户CPU时间；通过识别并移除昂贵查询得以解决。
- 根本原因是锁竞争：由于高峰时段同步的机器人事件，15k个进程等待GIN索引扩展，触发死锁检查和日志爆炸。
- 关键教训包括监控等待队列、隔离GIN索引，并为突发负载设计，以防止同步操作导致系统故障。
We're Building Postgres in Rust. Using the LLVM of Databases
6 days ago
- Turso 正在成为数据库领域的 LLVM，以 SQLite 作为第一个前端，Postgres 作为下一个。
- Turso 是 SQLite 在 Rust 中的现代重写版本，具备通过 MVCC 实现并发写入、丰富的类型系统以及自更新的物化视图等功能。
- 该项目旨在构建一个兼容 Postgres 的数据库，采用现代架构，包括嵌入式浏览器支持和基于文件的操作。
- Turso 使用一种字节码语言（VDBE），并已演示了通过该字节码在浏览器中运行《毁灭战士》游戏。
- 这一方法涉及将 Postgres SQL 编译为 Turso 的字节码，并将 pgmicro 作为官方项目并入 Turso。
- Turso 是开源的，拥有超过 260 名贡献者，通过严格的测试方法强调可靠性。
- FAQ 涵盖了兼容性、服务器支持、AI 贡献、开发进度以及通过 WASM 处理扩展等问题。
Just Use Postgres for Job Queues
6 days ago
- 扩展基于Postgres的作业队列具有挑战性，但通过优化是可行的。
- SKIP LOCKED 通过允许工作进程锁定和跳过已被锁定的行来帮助解决竞争问题。
- 将事务隔离级别从可重复读调整为已提交读可以减少序列化失败。
- 优化索引，例如使用选择性索引和部分索引，可以降低CPU使用率并提升性能。
The instant database scratchpad: xata scratch
5 days ago
- Xata scratch 提供了一个临时的Postgres副本，通过终端运行，允许在分支上进行一次性查询，这些分支包含真实数据，使用后会自动删除。
- 它支持在生产数据上运行繁重的分析查询，而不会产生资源竞争，可用于测试查询性能，或直接进入像psql这样的二进制工具。
- 此功能依赖于快速、廉价的无状态数据库分支（启动时间为1-2秒，每1000个分支成本约1美元），从而实现了以前难以想象的工作流程，并改善了开发者体验。
Let's break autovacuum in Postgres: reproducing failures to make it observable
a day ago
- 自动清理可防止膨胀和事务ID回卷，但故障静默且难以监控。
- 使用原始死元组数量具有误导性；计算'自动清理压力'（死元组/阈值）以获得归一化信号。
- Coroot通过结合压力大于2倍且至少512MiB的死数据来检测问题，然后通过系统视图识别根本原因。
- 五种常见故障模式：表上自动清理禁用、长时间事务持有边界、复制槽固定边界、所有工作进程繁忙、清理被限速。
- 每种故障都有独特的检测特征：reloptions、持有者的xmin年龄、工作进程数、等待事件。
- 该工具提供具体的发现结果，包括表名、原因和修复方法，减少猜测。
- 该方法使用现有的Postgres系统视图（pg_stat_user_tables、pg_stat_activity、pg_stat_progress_vacuum等）并进行了智能聚合。
The startup's Postgres survival guide
8 hours ago
- 从良好的模式设计开始：使用标识列、主键、带时区的时间戳和外键（对低流量表使用级联删除）。
- 通过使用索引（主键、唯一约束）来避免顺序扫描，编写高性能查询；使用复合索引时，将ORDER BY列放在最后。
- 保持事务简短，只锁定必要的行，并使用CREATE INDEX CONCURRENTLY以避免阻塞写入。
- 使用连接池（pgbouncer或内存池如pgxpool）来高效管理连接。
- 理解查询计划器：使用EXPLAIN ANALYZE调试慢查询，通过autovacuum保持表统计信息更新。
- 批量写入以提高吞吐量；调整autovacuum设置以防止死元组膨胀和事务ID回绕。
- 使用高级特性：FOR UPDATE SKIP LOCKED用于队列/租约操作，分区用于时间序列数据，触发器用于无需长事务的大表迁移。

Hasty Briefsbeta

#postgres

Database Traffic Control

Postgres transactions are a distributed systems superpower

Understanding Postgres 19 Property Graphs

Looking Forward to Postgres 19: Split Personality

Do you really need separate systems when you already have Postgres?

Why we built yet another Postgres connection pooler

Multigres Supports Listen/Notify Across Pooled Connections

Postgres locks do not scale

We're Building Postgres in Rust. Using the LLVM of Databases

Just Use Postgres for Job Queues

The instant database scratchpad: xata scratch

Let's break autovacuum in Postgres: reproducing failures to make it observable

The startup's Postgres survival guide