Hasty Briefsbeta

全部标签

#postgresql

共 112 篇

双语

Show HN: Cloud-Ready Postgres MCP Server
a year ago
- PG-MCP是PostgreSQL数据库的模型上下文协议(MCP)服务器实现
- 为AI代理提供与PostgreSQL数据库交互的全面API
- 关键特性包括多数据库支持、丰富的目录信息和查询解释工具
- 内置对PostGIS和pgvector等PostgreSQL扩展的上下文支持
- 包含连接管理、查询执行和模式探索工具
- 默认支持只读模式并提供安全的连接处理
- 可通过Docker Compose部署或直接使用Python运行
- 包含测试脚本和基于Claude的自然语言转SQL工具
- 基于MCP、FastMCP、asyncpg和YAML扩展上下文构建
- 欢迎贡献更多扩展和功能
All Databases Are Just Files
a year ago
- SQLite和DuckDB之所以流行，是因为它们是简单的文件，可以轻松复制和移动。
- PostgreSQL虽然更复杂，但通过理解其组件和文件操作也可以简化使用。
- 通过包管理器安装PostgreSQL常常导致将其视为黑箱，造成与系统的脱节。
- PostgreSQL的默认设置包含系统用户、数据目录、二进制文件和默认数据库，这些全都命名为'postgres'，容易造成混淆。
- PostgreSQL本质上通过将SQL查询转化为文件系统操作来运行，所有文件都存储在数据目录中。
- 手动管理PostgreSQL（例如使用`initdb`、自定义配置文件）可以简化工作流程并增强理解。
- 理解PostgreSQL的文件结构和进程能让用户更有效地调试、优化和管理数据库。
- 这种方法非常适合开发、原型设计和测试，但不建议用于生产环境。
- 掌握这些知识有助于建立更清晰的工作流程，减少将数据库视为黑箱的依赖。
Memory Size Matters to PostgreSQL
a year ago
- PostgreSQL的共享缓冲区是用于管理数据区与后端之间数据流的内存段。
- PostgreSQL的缓冲区管理算法从LRU演进到ARC，再到2q，最终采用时钟扫描算法。
- 时钟扫描算法通过名为nextVictimBuffer的循环缓冲区和自旋锁buffer_strategy_lock来管理缓冲区替换。
- 缓冲区使用计数器在被固定时递增，这将影响淘汰决策。
- VACUUM或大型顺序扫描等批量操作使用小型环形缓冲区，以避免影响共享缓冲区。
- PostgreSQL建议将shared_buffer设置为系统内存的25%，上限不超过40%。
- 大容量共享缓冲区的性能取决于数据区是否能完全装入共享缓冲区。
- 现代DDR4内存吞吐量会影响完整扫描共享缓冲区所需的时间。
- shared_buffer的实用上限约为64GB，以避免性能回退。
- 在生产环境中调整默认的shared_buffer设置对获得最佳性能至关重要。
Logical Replication from Postgres to Iceberg
a year ago
- Crunchy数据仓库将PostgreSQL与Iceberg集成以实现分析功能
- 现已支持从PostgreSQL到Iceberg的逻辑复制
- 支持插入、更新、删除和清空操作，延迟低（<60秒）
- 包含自动建表、数据拷贝和压缩功能
- 支持行过滤器和故障转移插槽等高级特性
- 仅需两条命令即可快速完成部署配置
- 高效的读时合并方法可降低计算成本
- 复制过程保持事务边界和外键约束
- 已在Crunchy Bridge平台提供，即将支持自托管Kubernetes用户
- 旨在通过Iceberg增强PostgreSQL的高性能分析能力
PgDog is a transaction pooler logical replication manager can shard PostgreSQL
a year ago
- PgDog是一个用Rust编写的PostgreSQL事务池和逻辑复制管理器
- 它支持分片功能，可管理数百个数据库和数千个连接
- 快速安装选项包括Helm charts和Docker Compose
- 功能特性包含负载均衡、健康检查和故障转移机制
- PgDog能自动将查询路由到分片，并支持跨分片查询
- 内置CSV解析器，可将COPY命令拆分到不同分片执行
- 逻辑复制功能支持现有数据库无需停机即可分片
- 配置灵活，支持运行时动态调整
- PgDog采用AGPL v3开源协议，允许内部使用和私有修改
- 鼓励早期采用者试用PgDog，我们将持续更新功能稳定性
Partitioning a large table in PostgreSQL with Rails
a year ago
- PostgreSQL表分区在Rails中可高效管理大型数据集
- 审计系统通过Active Record回调跟踪变更，将数据存入audits表
- 庞大的审计表导致高成本、操作风险及查询性能下降
- 热冷数据访问模式：90%查询针对最近30天的新数据
- 将旧审计数据归档至Amazon S3实现高性价比的持久存储
- 声明式分区（范围/列表/哈希）通过剪枝无关分区提升性能
- 选择按ID范围分区（与created_at时间相关）以匹配时序数据特征
- 迁移策略：将现有表作为带CHECK约束的分区挂载，实现零停机迁移
- 采用默认分区和继承机制临时处理超范围数据
- 通过Rails任务自动维护分区，实现无缝插入与清理
Amazon RDS for PostgreSQL 17.4
a year ago
- PostgreSQL采用MVCC实现事务隔离，其中'读未提交'和'读已提交'实际均为读已提交级别，'可重复读'提供快照隔离，而'可序列化'确保真正的可序列化隔离。
- Amazon RDS for PostgreSQL作为托管服务，自动处理实例配置、复制和备份等任务，其多可用区部署通过同步复制实现高容错能力。
- RDS提供主节点与只读节点端点：主节点支持所有隔离级别，但从节点不支持可序列化隔离，其最强一致性级别仅限快照隔离。
- 测试采用适配Jepsen框架的工作负载，针对RDS集群执行整数列表事务操作，通过数据流依赖关系检测隔离异常。
- Amazon RDS for PostgreSQL在所有测试版本（13.15至17.4）中均出现违反快照隔离的G非相邻循环异常，包括长分叉异常。
- 这些异常表明RDS可能提供的是并行快照隔离（弱于单节点PostgreSQL的强快照隔离），可能影响事务一致性。
- 建议用户审查存在长分叉风险的事务结构，或将安全性关键操作限制在主节点端点以规避异常。
- Jepsen的研究结论属于实验性质，虽能证明缺陷但无法验证绝对正确性，且该独立分析未收取任何形式补偿。
Understanding transaction visibility in PostgreSQL clusters with read replicas
a year ago
- Jepsen报告揭示Amazon RDS for PostgreSQL多可用区集群中的事务可见性行为问题
- 问题涉及Long Fork异常，影响主节点与副本间的可见性顺序
- 未发生数据丢失或损坏；该问题自2013年起即为PostgreSQL社区所知
- 示例场景：由于可见性顺序差异，Alice和Bob看到不同的排名结果
- AWS正与PostgreSQL社区合作，拟通过提交序列号(CSN)机制提出修复方案
- Long Fork异常会影响分布式系统、查询路由和数据同步过程
- AWS承诺持续支持PostgreSQL发展，设有专职PostgreSQL贡献者团队
- 建议措施：检查应用层假设、采用显式同步机制、联系AWS技术支持
- 延伸阅读：可查阅PostgreSQL社区相关研究及Aurora解决方案文档
Pg_parquet v0.4.0: Google Cloud Storage, HTTPS storage, and more
a year ago
- pg_parquet v0.4.0版本发布，新增支持Google云存储和HTTPS等特性
- 新增功能：支持COPY TO/FROM Google云存储、http(s)存储、以及FORMAT PARQUET的stdin/stdout操作
- 支持Parquet的UUID、JSON和JSONB类型，增强数据处理能力
- pg_parquet简化了在Postgres内导出/导入Parquet文件流程，无需第三方工具
- Parquet是采用列式压缩的开放标准文件格式，适合数据迁移场景
- 推荐使用Apache Iceberg实现完整的云存储数据库元数据层方案
- 文档提供将数据复制到/从Parquet文件及云存储的SQL命令示例
- 0.4版本强化了Postgres与Parquet间的数据流转，适用于分析数仓和数据湖架构
- 轻量级高性能设计，深度集成Postgres原生COPY命令
- 欢迎通过GitHub提交社区贡献和反馈意见
Implementing State Machines in PostgreSQL (2017)
a year ago
- 有限状态机（FSM）是强大的计算模型，能简化业务逻辑
- FSM可用有向图表示，通过事件展示状态与转移
- 在PostgreSQL中实现FSM可提供数据完整性和高级分析能力
- PostgreSQL函数可强制执行FSM规则，确保有效的状态转移
- PostgreSQL中的用户自定义聚合可递归应用状态转移
- 触发器能在插入前根据FSM验证事件的合法性
- PostgreSQL中的FSM支持高级分析功能，例如追踪状态历史演变
- 将业务逻辑嵌入数据库可避免竞态条件并提高可靠性
- 该方案具备可扩展性，已通过数十亿事件行的测试验证
Pgwatch: PostgreSQL Monitoring Solution
a year ago
- 使用Grafana在3000端口运行最新的Docker演示镜像，管理Web界面在8080端口，内部数据库在5432端口。
- 使用`docker run`命令指定端口和环境变量来启动容器。
- 以管理员身份(admin/pgwatchadmin)访问Grafana查看或创建仪表盘。
- 生产环境请使用cybertecpostgresql/pgwatch的Docker镜像。
- 克隆仓库并使用Docker compose快速搭建配置数据库、监控代理和Grafana等服务。
- 通过Web界面或命令行脚本添加测试数据库进行监控。
- 使用`docker/compose.pgbench.sh`模拟工作负载生成测试数据和事务。
- pgAdmin使用80端口；修改`docker/compose.pgadmin.yml`可更改端口。
- 在本地通过admin@local.com/admin凭证访问pgAdmin4以检查pgwatch数据库。
- 代码修改后需用重建并重启命令重新启动pgwatch代理。
- 使用`docker compose logs`命令在分离模式下监控日志。
- 欢迎提供反馈和贡献代码。
Postgres with data branching and PII anonymization
a year ago
- Xata以'规模化Postgres'重新亮相，推出全新PostgreSQL平台，支持写时复制分支、PII数据匿名化等创新功能
- 该平台兼容多云环境，支持自带云(BYOC)模式，通过存储计算分离架构实现更优扩展性与成本效益
- 核心功能包含即时数据分支、开发分支数据匿名化，以及与AWS RDS/Aurora等现有PostgreSQL服务的完全兼容
- Xata针对性解决企业级挑战：支持零停机模式变更、提供不含PII的真实测试数据、创建临时开发环境
- 平台集成pgstream（数据复制与脱敏）和pgroll（零停机模式变更）两大开源项目
- 基于Simplyblock的存储系统实现即时写时复制分支功能，并通过NVMe/TCP协议实现分布式存储
- 计算层采用Kubernetes与CloudNativePG管理，确保高可用、弹性扩展及多云部署能力
- 相较Aurora最高可节省80%成本，提供按量付费的简易计费模式（分别计算存储与计算资源）
- Xata Agent智能工具（基于LLM技术）可自动优化PostgreSQL实例配置
- 现有用户仍可使用免费版Xata Lite（适合小型项目），新平台主要面向初创企业及中大型客户
UUIDv7 Comes to PostgreSQL 18
a year ago
- PostgreSQL 18 beta 1版本发布，新增UUIDv7、异步I/O和虚拟生成列等特性
- UUIDv7是基于时间戳的UUID变体，可提升数据库中的排序和索引局部性
- UUID在分布式数据库、不可猜测的公共标识符及客户端生成ID等场景中非常有用
- UUIDv7解决了排序和索引局部性问题，但未改变UUID的存储大小
- PostgreSQL 18引入`uuidv7()`函数生成UUIDv7值，并支持时间戳提取功能
- 社区被鼓励测试PostgreSQL 18测试版，并在9月正式发布前反馈问题
Show HN: BemiDB – Open-source data warehouse with zero-ETL
a year ago
- Zero-ETL数据仓库助力团队极速开发，通过自动连接任意数据源和psql查询，可节省数月的管道搭建工作
- 典型应用场景包括：强力分析、集中式数据存储、商业智能与即席查询、以及Postgres应用内分析
- 无需构建管道即可实现数据集中化——将多源数据整合至统一存储库
- 通过任意商业智能工具轻松构建仪表盘、生成报表、分析数据，快速获取业务洞察
- 无缝集成Postgres功能，无需反向ETL即可直接在应用中查询分析数据
- 用户评价与社区互动显示BemiDB正成为增长最快的开源数据分析项目之一
- 常见问题解答专区随时为您服务，现在即可零门槛体验BemiDB（无需绑定信用卡）
- 技术博客持续更新PostgreSQL数据分析、索引优化、事件溯源架构反思等工程实践文章
Direct TLS can speed up your connections
a year ago
- Aurora DSQL连接在没有VPN时速度较慢，特别是在AWS办公室环境中。
- 调试发现每个集群连接都会额外建立一个非Postgres协议的连接。
- 由于TLS 1.3加密，思科防火墙会发起第二次TLS 1.2握手以检查证书。
- Postgres 17版本引入了直接TLS支持，允许无需先发SSLRequest即可完成TLS握手。
- Postgres 17+客户端使用直接TLS需设置`sslmode=require`和`sslnegotiation=direct`参数。
- Aurora DSQL强制使用TLS，因此直接TLS成为提升连接速度的推荐功能。
- 提供了配置`psql`和`pdsql`使用直接TLS参数的连接字符串示例。
IDE for PostgreSQL in VS Code from Microsoft
a year ago
- VS Code的PostgreSQL扩展进入公开预览阶段
- 该扩展集成了PostgreSQL数据库管理与开发工作流
- 功能包括模式可视化、数据库感知的GitHub Copilot和上下文感知的IntelliSense
- GitHub Copilot Chat代理模式为复杂任务提供AI驱动的指导
- 简化本地和云端PostgreSQL实例的连接管理
- 支持Entra ID无密码认证以简化安全流程
- 数据库资源管理器提供结构化视图和管理功能
- 查询历史和上下文感知IntelliSense提升工作效率
- 与Azure Database for PostgreSQL深度集成
- 可通过VS Code扩展市场轻松安装
Big Problems From Big IN lists with Ruby on Rails and PostgreSQL
a year ago
- 在关系型数据库中，包含大量值的IN子句会导致性能问题。
- Active Record ORM方法如`includes`和`preload`可能会隐式生成IN子句查询。
- 替代IN子句的方案包括使用ANY或SOME运算符、VALUES子句，或重构查询改用连接(joins)。
- PostgreSQL 17和18版本针对IN子句处理和pg_stat_statements中相似查询分组进行了优化改进。
- 建议使用EXPLAIN (ANALYZE, BUFFERS)测试查询性能，以识别和优化有问题的查询。
Bridged Indexes in OrioleDB: architecture, internals and everyday use?
a year ago
- OrioleDB beta10引入了桥接索引，支持在OrioleDB表上创建非B树索引。
- 桥接索引之所以必要，是因为OrioleDB将行数据存储在基于主键的B树中，并使用撤销日志实现MVCC机制，这与PostgreSQL的索引访问方法不兼容。
- 桥接索引层包含一个虚拟的'iptr'列，该列映射到主键值，使得PostgreSQL索引能够与OrioleDB协同工作。
- 与依赖VACUUM清理的PostgreSQL索引不同，桥接索引能自动处理MVCC及逻辑更新/删除操作。
- 用户可选择自动或手动创建桥接索引，并能通过参数控制桥接层以优化性能或进行测试。
- 性能考量包括：桥接索引会额外增加一次查找跳转，且涉及桥接索引的列更新时会产生额外开销。
- 桥接索引无需为OrioleDB重写扩展，即可直接使用PostgreSQL丰富的索引访问方法生态系统（如GIN、GiST等）。
- 该特性让用户能平衡性能与功能需求，未来版本预计将进一步提升OrioleDB的能力。
Rethinking PostgreSQL Storage
a year ago
- 云存储最初是为适应HDD等旧硬件限制而设计的。
- 现代NVMe SSD以600美元提供250万IOPS，而Aurora实现同等性能需每月130万美元。
- 本地NVMe SSD比网络存储速度更快、成本更低且更可靠。
- 云服务商长期采用网络存储以实现持久性和可扩展性。
- NVMe SSD通过PCIe直连降低延迟，支持并行数据通道。
- 网络存储在弹性与持久性方面仍具优势。
- Ubicloud基准测试显示PostgreSQL在NVMe上性能比Aurora高1.4倍，比RDS高4.6倍。
- TPC-H测试表明配备NVMe的Ubicloud比Aurora快2.42倍，比RDS快2.96倍。
- 本地NVMe SSD是云数据库的未来，尤其适用于PostgreSQL等数据密集型应用。
The Art of SQL Query Optimization
a year ago
- SQL是一种声明式语言，用户只需指定查询结果，而由数据库管理系统(DBMS)决定生成该结果的具体步骤。
- 查询优化器通过生成可能的执行计划并基于成本评估，找出最高效的执行方案。
- Plan Explorer是一款可视化工具，通过遍历搜索空间并生成图表，直观展示PostgreSQL查询优化器的决策过程。
- 该工具可独立运行（使用WebAssembly版PostgreSQL/PGlite），也能以服务器模式连接真实PostgreSQL实例。
- Plan Explorer能生成查询计划的可视化图表，包括预期成本、实际执行时间、预估与实际元组数量的对比等。
- 示例查询分析展示了PostgreSQL的优化策略，例如当过滤条件可消除NULL元组时，将LEFT JOIN转为INNER JOIN。
- 该工具可帮助识别错误预测（如元组数量估算偏差），辅助优化成本模型参数调整。
- Plan Explorer已在GitHub开源，为研究PostgreSQL查询优化机制提供了透明化的分析手段。

About|Login

#postgresql

Show HN: Cloud-Ready Postgres MCP Server

All Databases Are Just Files

Memory Size Matters to PostgreSQL

Logical Replication from Postgres to Iceberg

PgDog is a transaction pooler logical replication manager can shard PostgreSQL

Partitioning a large table in PostgreSQL with Rails

Amazon RDS for PostgreSQL 17.4

Understanding transaction visibility in PostgreSQL clusters with read replicas

Pg_parquet v0.4.0: Google Cloud Storage, HTTPS storage, and more

Implementing State Machines in PostgreSQL (2017)

Pgwatch: PostgreSQL Monitoring Solution

Postgres with data branching and PII anonymization

UUIDv7 Comes to PostgreSQL 18

Show HN: BemiDB – Open-source data warehouse with zero-ETL

Direct TLS can speed up your connections

IDE for PostgreSQL in VS Code from Microsoft

Big Problems From Big IN lists with Ruby on Rails and PostgreSQL

Bridged Indexes in OrioleDB: architecture, internals and everyday use?

Rethinking PostgreSQL Storage

The Art of SQL Query Optimization