Hasty Briefsbeta

全部标签

#postgresql

共 112 篇

双语

PG Auto Upgrade – Docker (and K8s) container to auto upgrade your database
9 months ago
- PostgreSQL Docker镜像支持自动数据库升级
- 检测数据目录中的PostgreSQL版本并使用pg_upgrade的--link参数进行升级
- 升级完成后启动PostgreSQL服务，旧集群数据将被清除
- 官方Docker PostgreSQL镜像不具备升级功能
- 警告：使用前请备份数据，原地升级存在数据丢失风险
- 移除了健康检查，已实现自定义健康检查机制
- Docker Hub镜像地址：pgautoupgrade/pgautoupgrade
- 使用'latest'标签获取基于Alpine Linux的镜像，或特定版本标签如'17-alpine'
- 提供基于Debian的镜像（如'17-bookworm'）以确保兼容性
- One Shot模式仅执行升级不运行PostgreSQL（设置PGAUTO_ONESHOT=yes）
- 通过PGAUTO_REINDEX=no跳过重建索引（推荐PG v16+版本使用）
- Bitnami Postgres适配方案：复制缺失的配置文件，处理用户ID变更
- 提供Kubernetes initContainer示例用于Bitnami升级场景
- 开发镜像构建命令：'make dev'
- Wiki文档包含自定义扩展的安装说明
- 设有'before'和'server'断点用于调试/测试
- 测试脚本验证从PG 9.5到17.x的AdventureWorks数据库升级流程
Show HN: MCP Server for PostgreSQL Monitoring/Operations (MCP-PostgreSQL-Ops)
9 months ago
- 专为PostgreSQL操作、监控和管理设计的专业MCP服务器
- 通过pg_stat_statements和pg_stat_monitor扩展实现高级性能分析
- 功能包括PostgreSQL监控、结构探索、性能分析、容量管理及配置检索
- 所有操作均为只读模式，安全可靠
- 环境配置需在.env文件中设置PostgreSQL连接信息
- 使用uv venv和uv sync安装依赖
- 可通过脚本或直接运行启动服务器进行调试
- 提供多种命令：服务器信息、活动连接、配置查看、数据库/表列表、用户列表及性能统计
- 支持HTTP模式测试
- 配置变量包含Python路径、日志级别、传输协议、主机地址、端口号、PostgreSQL版本及连接参数
- 要求PostgreSQL 12+、Python 3.11、网络访问权限及只读权限
- 快速配置需将pg_stat_statements加入shared_preload_libraries并创建扩展
- 提供服务器状态查询、配置管理、性能分析和容量管理的示例查询
- 排障指南：检查服务状态、验证连接参数、确保网络连通性、核对用户权限
- 安全特性：只读工具、敏感信息脱敏、禁止直接SQL执行、最小权限原则
Linux Foundation Opens the Door to DocumentDB
9 months ago
- Linux基金会欢迎微软的DocumentDB（一种面向文档的数据库系统）加入其开源计划。
- DocumentDB是PostgreSQL的扩展，旨在作为NoSQL文档数据库的开源替代方案，与亚马逊的DocumentDB不同。
- 该项目致力于为NoSQL数据库提供互操作性标准，利用PostgreSQL的可靠性和社区采用优势。
- DocumentDB兼容MongoDB API，为开发者提供了灵活性，并简化了从MongoDB迁移的过程。
- 该计划强调开放性，与MongoDB在2018年转向非开源许可证的做法形成对比。
- DocumentDB支持混合云和多云策略，促进不同平台之间的互操作性。
- 该项目由技术指导委员会管理，成员包括AWS、谷歌和Snowflake等主要科技公司。
Using JWT to establish a trusted context for Row Level Security
9 months ago
- 行级安全(RLS)是通过应用策略定义的过滤器来限制行访问的功能
- RLS需要可信上下文环境，这是一组RLS策略可以查询用于行过滤的键值对
- 传统的RLS上下文解决方案依赖角色机制，虽然通过认证获得信任但使连接池和管理复杂化
- 基于密码学的上下文方案(如使用JWT数字签名)可以独立于认证建立信任关系
- JWT(JSON Web Token)是推荐的签名上下文标准，具有JSON序列化和算法支持等优势
- 实验性扩展'jwt_context'实现了该方案，允许RLS策略使用JWT签名的上下文
- 基础架构包含应用生成令牌、数据库验证和RLS策略应用三个环节
- 高级架构可能涉及独立的上下文生成系统和连接池优化方案
- 签名验证密钥通过GUC参数配置(jwt.secret用于HMAC算法，jwt.pubkey用于RSA/ECDSA算法)，需注意安全性
- 现有方案的弱点包括超级用户访问风险、自定义C代码漏洞和令牌泄露问题
- 未来改进方向包括协议层支持以简化连接池集成
PostgreSQL 18 RC 1 Released
8 months ago
- PostgreSQL 18 RC 1 现已可供下载
- PostgreSQL 18 正式版计划于2025年9月25日发布
- 大版本升级需采用 pg_upgrade 或 pg_dump/pg_restore 等策略
- Beta 3 阶段修复了若干漏洞，包括 vacuumdb --missing-stats-only 功能及 pg_upgrade 后的 .pg_trgm 索引问题
- 这是首个候选版本，如无意外情况，PostgreSQL 18 将按计划如期发布正式版
PgEdge Goes Open Source
8 months ago
- 作者离开AI公司后加入pgEdge，专注于分布式PostgreSQL研发
- pgEdge核心组件最初采用专有许可的'源码可用'模式，限制了使用范围
- pgEdge所有组件已改用PostgreSQL许可证，全面支持开源
- pgEdge通过GitHub上的spock、snowflake和lolor等仓库鼓励社区参与开发
- pgEdge提供云服务、容器和虚拟机等多种生产环境解决方案
My Favorite PostgreSQL 18 Feature: Virtual Generated Columns
8 months ago
- PostgreSQL 18 引入了虚拟生成列这一新特性，该特性在查询时实时计算值，与将值持久化存储在磁盘上的存储生成列形成鲜明对比。
- 生成列通过将逻辑封装在数据附近，有效减少了样板代码，从而提升了模式的可维护性并降低了重复性。
- 虚拟生成列特别适合轻量级表达式或需要避免存储膨胀的场景，而存储生成列则更适用于需要建立索引的高开销表达式。
- 生成列的一个典型应用场景是全文检索（FTS），可以将不同语言的配置存储为生成列并建立索引以实现高效查询。
- 虚拟生成列在将JSON字段暴露为常规列时尤其有用，它无需在磁盘上复制数据即可提供更简洁的查询接口，且不产生存储开销。
- 性能方面存在权衡：存储列会增加写入开销但通过索引加速读取，而虚拟列保持写入轻量但需要在读取时进行计算。
- 虚拟列使模式演进更为便捷，无需重写表即可即时添加，这使其成为生产环境中进行实验的理想选择。
- 生成列存在一定限制和安全风险，特别是涉及自定义函数或用户定义类型时，需要谨慎规划以避免意外行为。
Show HN: I made pgdbtemplate to cut PostgreSQL test time by 1.5x using templates
8 months ago
- 一个用于创建PostgreSQL测试数据库的高性能Go库，通过模板数据库实现更快的测试执行速度
- 特性包括：极速创建测试数据库（比传统方法快1.2-1.6倍）、线程安全操作、可随架构复杂度扩展
- 支持PostgreSQL特有功能，包含连接字符串验证和多种驱动（database/sql与pgx）
- 提供灵活测试支持，包括与Testcontainers集成实现容器化测试
- 可配置的迁移运行器和连接提供器，支持高级连接池选项
- 性能优化包括：无论架构复杂度如何都能保持一致的数据库创建时间，以及卓越的并发处理能力
- 内存效率比传统方法每操作减少17%内存占用
- 专为生产测试套件并发使用设计的线程安全操作
- 要求PostgreSQL 9.5+、Go 1.21+及PostgreSQL驱动（github.com/lib/pq或github.com/jackc/pgx/v5）
- 采用MIT许可证，欢迎在指定规范下贡献代码
Pgstream: Postgres streaming logical replication with DDL changes
8 months ago
- pgstream 是一个开源的CDC工具，支持Postgres复制及DDL变更捕获
- 支持多种目标输出，包括Elasticsearch、PostgreSQL和webhooks
- 功能特性包含模式变更追踪、列数据转换和模块化部署
- 提供CLI工具和库两种形式，支持Linux、macOS和Windows平台
- 可通过Go或Homebrew安装，提供PostgreSQL/Kafka/OpenSearch的Docker部署方案
- 支持CLI参数、YAML配置文件和环境变量三种配置方式
- 提供init/status/destroy/run/snapshot等复制任务管理命令
- 提供PostgreSQL快照的性能基准测试数据
- 当前限制包括仅支持单个Kafka主题，且缺乏行级过滤功能
- 采用Apache 2.0开源协议，欢迎贡献代码
Pg_links
8 months ago
- 首页链接
- 关于页面链接
- 各种PostgreSQL(PG)相关资源链接
- 包含文档、维基、内部细节和监控
- PostgreSQL和psql的使用技巧与小脚本
- PostgreSQL术语词汇表与解释
- 开发与黑客资源
- PostgreSQL社区与相关活动
Show HN: Pgmcp, an MCP server to query any Postgres database in natural language
8 months ago
- PGMCP是一种模型上下文协议（MCP）服务器，为AI助手提供通过自然语言查询安全、只读访问PostgreSQL数据库的能力。
- 它能将简单的英语问题翻译成SQL查询语句，执行这些查询，并通过错误处理和性能优化返回结构化结果。
- 可与任何MCP兼容的客户端协同工作，如Cursor、Claude Desktop、VS Code扩展及自定义集成。
- 核心功能包括自然语言到SQL的转换、智能查询理解、大数据集的自动流式传输以及强制只读访问。
- 包含强大的安全措施，如输入净化、审计日志记录和防止写入操作的防护机制。
- 无需修改即可支持任何PostgreSQL架构——适用于电子商务、分析系统、客户关系管理、金融系统等场景。
- 通过错误恢复、有用反馈和系统稳定性设计，优雅处理AI的不可预测性。
- 提供多种输出格式（表格、JSON、CSV）和高级功能，如跨所有文本列的全文搜索。
- 包含全面测试（单元、集成、安全、性能）并支持Docker部署。
- 可通过身份验证、连接池和配置选项集成到生产环境中。
PostgreSQL Maintenance Without Superuser
8 months ago
- PostgreSQL的预定义角色为常见维护任务提供了细粒度访问控制，无需超级用户权限。
- 系统按功能分组提供了15个预定义角色：数据访问、监控、系统操作、文件系统访问和特殊用例。
- 关键角色包括pg_read_all_data（全库读取）、pg_write_all_data（全库写入）、pg_monitor（监控）、pg_signal_backend（终止后端进程）和pg_database_owner（数据库所有者）。
- 预定义角色通过精确授权（如监控、备份等能力）帮助团队获得必要权限，避免过度授权。
- PostgreSQL各版本持续增加预定义角色以满足运维需求（如PostgreSQL 17的pg_maintain维护角色，PostgreSQL 18的pg_signal_autovacuum_worker终止自动清理工作进程角色）。
- pg_database_owner角色具有特殊性——其成员关系随当前数据库动态变化，可实现安全的数据库所有权管理。
- 预定义角色通过集群级自动覆盖当前及未来对象，极大简化了权限管理流程。
- 使用预定义角色能通过减少超级用户访问和实现逻辑能力委派来增强安全性。
PostgreSQL 20.15: OAuth Authorization/Authentication
8 months ago
- OAuth 2.0是第三方应用程序访问受保护资源的行业标准框架
- PostgreSQL需要在构建时启用OAuth客户端支持
- OAuth关键角色包括资源所有者（终端用户）、客户端（如psql）、资源服务器（PostgreSQL集群）和提供者
- 授权服务器颁发访问令牌，但不由PostgreSQL提供
- 颁发者标识符是一个HTTPS URL，为OAuth客户端提供受信任的命名空间
- PostgreSQL支持RFC 6750定义的不透明字符串——持有者令牌
- 配置选项包括颁发者（必需HTTPS URL）、作用域（必需空格分隔列表）、验证器（可选库）和映射（可选用户名映射）
- 高级选项delegate_ident_mapping将身份映射责任转移给OAuth验证器，绕过pg_ident.conf
PostgreSQL 18 Released
8 months ago
- PostgreSQL 18发布，带来性能改进和新功能
- 全新I/O子系统使读取性能提升高达3倍
- 大版本升级更顺畅，升级时间大幅缩短
- 虚拟生成列可在查询时实时计算数值
- UUIDv7函数优化UUID索引和读取性能
- 支持OAuth 2.0认证，简化单点登录集成
- 全新异步I/O子系统提升吞吐量
- 规划器统计信息在大版本升级中得以保留
- pg_upgrade工具增强，支持并行处理和更快升级
- 跳过扫描查找和OR条件优化加速查询
- 支持ARM NEON和SVE CPU指令集实现硬件加速
- 虚拟生成列现设为默认选项
- 主键和唯一约束新增时态约束支持
- 文本处理功能增强，包括PG_UNICODE_FAST排序规则
- 新增OAuth认证和FIPS模式验证
- 逻辑复制改进，支持并行流式传输
- 主动式vacuum策略降低系统开销
- EXPLAIN ANALYZE现在显示更详细的执行统计
- 新建数据库默认启用页面校验和
- 引入新版PostgreSQL有线协议(3.2版本)
PostgreSQL 18 – Release Notes
8 months ago
- PostgreSQL 18 引入了异步I/O（AIO）子系统，以提升顺序扫描和VACUUM等操作的性能
- 优化器统计信息现在在pg_upgrade过程中会被保留，增强了数据库迁移流程
- 新增支持'skip scan'查找方式，能更高效地利用多列B树索引
- 虚拟生成列（在读取操作时计算值）现在成为默认设置
- 新增OAuth认证支持，扩展了安全选项
- 增强了INSERT/UPDATE/DELETE/MERGE命令中RETURNING子句对OLD/NEW引用的支持
- 为PRIMARY KEY、UNIQUE和FOREIGN KEY约束引入了时间约束功能
- initdb现在默认启用数据校验和，同时提供禁用选项
- 时区缩写处理方式的变更会优先使用当前会话设置
- MD5密码认证方式已被弃用，使用时将发出警告
PostgreSQL 18 Released
8 months ago
- PostgreSQL 18 引入了异步I/O（AIO）子系统，显著提升了顺序扫描和VACUUM等操作的性能。
- 新增功能包括虚拟生成列、OAuth认证支持，以及针对主键、唯一键和外键的时间约束功能。
- pg_upgrade工具增强：支持保留优化器统计信息，并新增数据库检查的并行处理能力。
- 性能优化：改进了多分区处理机制、为合并连接引入增量排序，并新增JSON字符串的SIMD处理能力。
- 安全更新：弃用MD5密码认证方式，新增OAuth认证方法。
- 新增系统视图和函数用于监控I/O、WAL和内存使用情况，包括pg_aios和pg_stat_io视图。
- SQL与PL/pgSQL增强：RETURNING子句支持OLD/NEW引用，正则表达式函数支持命名参数。
- Libpq和psql改进：新增连接参数、支持管道查询，列表命令扩展显示模式。
- 扩展功能增强：pg_stat_statements支持追踪SET值，pgcrypto扩展新增加密函数。
- 兼容性变更：停止支持OpenSSL 1.1.1以下版本及HPPA/PA-RISC架构。
Tuning async IO in PostgreSQL 18
8 months ago
- PostgreSQL 18 引入了异步 I/O (AIO)，改进了 I/O 调度和存储利用率。
- 调整 AIO 的关键参数是 `io_method`（选项：sync、worker、io_uring）和 `io_workers`（默认值：3）。
- 默认值 `io_method = worker` 因其异步特性和广泛的平台支持，被推荐用于大多数系统。
- `io_uring` 效率高但仅限 Linux 平台，且可能存在文件描述符限制。
- 增加 `io_workers`（例如设置为核心数的 25%）可以提升性能，尤其在大型机器上。
- AIO 需要权衡：`worker` 分散 I/O 负载但使用信号进行进程间通信，而 `io_uring` 避免信号但可能遇到单进程带宽限制。
- 未来改进可能包括基于需求的动态 I/O 工作线程管理。
- 目前建议保持 `io_method = worker`，并根据核心数调整 `io_workers`。
Going down the rabbit hole of Postgres 18 features
8 months ago
- PostgreSQL 18 引入异步I/O基础设施，显著提升性能并降低资源消耗，尤其有利于网络附加存储场景
- 新增OAuth 2.0支持，可通过SSO提供商和OAuth流程实现安全认证
- 引入UUIDv7支持，提供带时间戳的可排序UUID，优化索引局部性和压缩效率
- RETURNING子句增强功能允许显式返回新旧值，简化更新和插入操作的代码
- 虚拟生成列(VIRTUAL)现设为默认选项，按需计算如视图，提高存储效率
- 时态数据库改进包括主键/唯一约束的WITHOUT OVERLAPS功能和外键的PERIOD支持
- NOT NULL约束现支持NOT VALID方式添加，实现非阻塞式模式变更
- 性能优化包含多列索引的B-tree跳跃扫描和自连接消除技术
- 可观测性增强涵盖EXPLAIN改进、进程级统计信息和锁失败日志记录
- 新增array_reverse()、array_sort()和casefold()等实用函数，强化数组处理和大小写不敏感操作
Show HN: 100% open source, logical multi-master PostgreSQL replication
7 months ago
- Spock扩展为PostgreSQL 15及以上版本提供多主复制功能。
- 集群中的每个节点都必须安装Spock扩展。
- 所有节点上的表必须具有相同的名称、模式、列和主键。
- 在构建Spock前，必须用版本特定的.diff文件修补PostgreSQL源代码树。
- Postgres服务器必须配置特定参数，如`wal_level = 'logical'`和`shared_preload_libraries = 'spock'`。
- Spock文档使用MkDocs工具配合Material主题构建。
- 复制集群配置需要修改`postgresql.conf`和`pg_hba.conf`文件。
- 节点通过`spock.node_create`创建，订阅通过`spock.sub_create`建立。
- 可通过设置`spock.enable_ddl_replication=on`启用自动DDL复制。
- 升级Spock需提前备份，因目录表变更后无法回滚。
Pipelining in psql (PostgreSQL 18)
7 months ago
- PostgreSQL的流水线技术允许客户端无需等待前序查询结果即可发送新查询，显著提升吞吐量。
- 该技术通过实现客户端、网络和服务器的并行处理，优化了网络数据包利用率。
- 自PostgreSQL 7.4（2003年）起支持，但基于libpq的驱动（如psycopg3）直到2021年（PostgreSQL 14）才实现支持。
- PostgreSQL 18新增psql命令（\startpipeline, \endpipeline, \syncpipeline, \getresults），简化SQL脚本中的流水线操作。
- 流水线会创建隐式事务——若某查询失败，系统将回滚至上个同步点之后的所有变更。
- 性能测试显示，在不同网络环境（本地、局域网、广域网）下均实现显著加速（1.5倍至71倍）。
- 该特性特别适合批量独立查询场景，可避免复杂多行查询的维护难题。
- 具备向后兼容性：即使服务器未升级至PostgreSQL 18，仅升级psql客户端即可使用新功能。

About|Login

#postgresql

PG Auto Upgrade – Docker (and K8s) container to auto upgrade your database

Show HN: MCP Server for PostgreSQL Monitoring/Operations (MCP-PostgreSQL-Ops)

Linux Foundation Opens the Door to DocumentDB

Using JWT to establish a trusted context for Row Level Security

PostgreSQL 18 RC 1 Released

PgEdge Goes Open Source

My Favorite PostgreSQL 18 Feature: Virtual Generated Columns

Show HN: I made pgdbtemplate to cut PostgreSQL test time by 1.5x using templates

Pgstream: Postgres streaming logical replication with DDL changes

Pg_links

Show HN: Pgmcp, an MCP server to query any Postgres database in natural language

PostgreSQL Maintenance Without Superuser

PostgreSQL 20.15: OAuth Authorization/Authentication

PostgreSQL 18 Released

PostgreSQL 18 – Release Notes

PostgreSQL 18 Released

Tuning async IO in PostgreSQL 18

Going down the rabbit hole of Postgres 18 features

Show HN: 100% open source, logical multi-master PostgreSQL replication

Pipelining in psql (PostgreSQL 18)