Hasty Briefsbeta

全部标签

#database

共 200 篇

双语

Gel Joins Vercel
5 months ago
- Gel Data Inc. 即将关闭，团队将加入Vercel，专注于打造最佳Python云服务
- Gel Cloud将停止接受新用户注册，并于明年1月31日全面关闭，但代码仍会在GitHub上开源
- 团队已提供迁移指南，帮助用户过渡至托管Postgres或自托管方案
- Gel对Python生态的贡献包括CPython中的async/await、asyncio、uvloop、asyncpg等核心功能
- Vercel对Python的投资旨在复制其在JavaScript领域的成功，团队将继续贡献开源项目
- Gel的创新理念包括声明式模式管理、无状态高速网络协议，以及引入'links'概念的独特数据模型
- EdgeQL作为Gel的查询语言，融合了SQL与GraphQL特性，但因其新颖性面临推广挑战
- 团队反思了三大挑战：创建新品类赛道、资源过度分散以及'煮沸海洋'式的开发难度
- 团队已撰写关于Gel数据模型与查询语言的正式论文，将与社区分享研究成果
Valkey is an open source (BSD) high-performance key/value datastore
5 months ago
- Valkey 是一个开源的高性能键值数据库，支持缓存、消息队列和主数据库等多种工作负载
- 在Linux基金会的支持下，Valkey确保长期保持开源可用性
- 支持多种数据类型，包括字符串、数字、哈希、列表、集合、有序集合、位图和基数估算
- Valkey 9.0版本引入了原子槽迁移功能，优化了分片重组机制
- 可独立运行或组成集群，支持数据复制和高可用性配置
- 通过Lua脚本和模块插件实现原生可扩展性
- 阿里云、Aiven、UpCloud、亚马逊ElastiCache、谷歌云Memorystore等多家云服务商提供托管服务
- Valkey由多元化的支持组织共同维护，确保项目长期健康发展
PGlite – Embeddable Postgres
5 months ago
- Postgres的完整WASM构建版本，压缩后不到3MB。
- 可嵌入的Postgres允许在WASM中本地运行完整的Postgres数据库，具有响应性和实时同步功能。
- 使用AI Supabase创建并发布Postgres数据库。
- 基于PGlite构建，可在浏览器中运行，并包含pgvector扩展。
Why ID Format Matters More Than ID Generation (Lessons from Production)
5 months ago
- 分布式ID格式是架构层面的承诺而不仅是数据类型，因其在系统间的广泛使用特性
- 自增ID简单易用，但在数据库分片、多区域部署和微服务场景下会产生问题
- UUIDv4无需协调即可保证唯一性，但缺乏排序性和结构化特征
- ULID和UUIDv7支持时间排序，但面临高并发和时钟漂移问题
- Snowflake提供强排序性和高性能，但架构僵化难以演进
- OrderlyID通过租户编码和校验位等特性，专为提供结构化、可演进、去中心化的ID而设计
- ID格式的选择取决于系统约束条件，如排序保证和可扩展性需求
Stoolap: High-performance embedded SQL database in pure Rust
5 months ago
- Stoolap 是一个用 Rust 编写的嵌入式 SQL 数据库，支持 MVCC 事务和 ACID 特性。
- 支持内存模式和持久化存储模式两种运行方式。
- 可通过 Cargo.toml 轻松集成或从源码构建。
- 提供 REPL 交互界面用于执行 SQL 查询。
- 提供两种隔离级别：读已提交和快照隔离。
- 支持查询特定时间戳或事务的历史数据。
- 支持自动和显式索引选择（B树、哈希、位图）。
- 完整支持分析型查询，包括窗口函数和递归 CTE。
- 包含多种子查询类型（标量子查询、关联子查询、EXISTS、IN）。
- 配备基于成本的优化器，支持统计信息收集。
- 支持广泛的数据类型和内置函数。
- 采用预写日志（WAL）和定期快照机制确保数据持久性。
- 基于 Apache 2.0 开源协议发布。
Disk can lie to you when you write to it
5 months ago
- 预写日志(WAL)对数据库持久性至关重要，但磁盘可能出现静默故障
- 常见问题包括：页面缓存问题、磁盘虚假成功报告、写入顺序混乱以及单点故障
- 健壮WAL的五层防御机制：校验和、双WAL文件、O_DIRECT+O_DSYNC、链式I/O排序、同步后验证读取
- 校验和(CRC32C)可检测硬件或固件错误导致的静默数据损坏
- 双WAL文件通过维护冗余副本防范潜在扇区错误(LSEs)
- O_DIRECT和O_DSYNC确保数据绕过内核页面缓存直接写入磁盘
- 链式I/O排序(Linux中的io_uring)保证写入和fsync操作按正确顺序完成
- 同步后验证读取通过重新读取和校验已写入数据立即捕获静默故障
- 恢复流程包括：扫描双WAL文件、合并有效记录、重放操作以恢复一致状态
- 实际案例凸显这些防护层的重要性，如静默损坏和页面缓存异常
- 生产级WAL必须包含校验和、冗余、直接写入、操作排序和验证机制，才能履行其持久性契约
Show HN: LinkedQL – Live Queries over Postgres, MySQL, MariaDB
5 months ago
- LinkedQL 是一个支持 PostgreSQL、MySQL/MariaDB 的数据库客户端，并内置名为 FlashQL 的内存 SQL 引擎
- 它以轻量级封装（<80 KiB）提供响应式交互、关联查询、JSON 支持和模式管理等功能，旨在简化数据库操作
- 当前处于 Alpha 阶段，暂不适合生产环境，但欢迎实验性使用和贡献代码
- 通过统一接口支持多种 SQL 方言，包括 PostgreSQL、MySQL、MariaDB 和 FlashQL
- 核心特性包含实时查询、深度引用运算符、JSON 字面量、upsert 操作及即将推出的模式版本控制
- FlashQL 支持纯内存 SQL 查询，特别适合本地优先应用、测试场景和原型开发
- 可通过 npm 安装：`npm install @linked-db/linked-ql`
- 欢迎通过提交 issue、PR 或参与讨论进行贡献，开发工作主要集中在 `next` 分支
Pg_AI_query v0.1.0 – First stable release with multi-model AI for PostgreSQL
5 months ago
- pg_ai_query v0.1.0首个稳定版发布，增强PostgreSQL中AI驱动的查询开发能力
- 新增功能包括：自然语言生成SQL、AI解读EXPLAIN ANALYZE结果、自动化索引推荐
- 支持多款AI模型：OpenAI、Anthropic、Google Gemini及通过Ollama部署的本地模型
- 兼容OpenAI接口标准，原生支持Linux/MacOS系统
- 旨在保持工作流在Postgres内部的同时提供模型选择的灵活性
- 已为PostgreSQL 14+用户提供在线文档和源代码
- 欢迎反馈与贡献以推动项目进一步发展
GNU recutils: Plain text database
5 months ago
- GNU Recutils 是一套用于纯文本数据库（称为 recfiles）的工具和库。
- Recfiles 以记录形式存储数据，每个记录包含命名字段。
- 功能包括数据完整性、丰富的类型系统、高级数据库设施、加密支持以及与其他格式的转换器。
- 支持 Vim 和 Emacs，提供语法高亮和高级编辑模式。
- 与 org-mode 集成，便于读取和发布数据。
- 包含报告模板和导出工具。
- 附带完整的用户手册和简易部署选项。
- 可从 GNU 服务器及镜像下载，提供多种发行版的二进制包。
- 文档支持在线查阅或通过 info recutils 命令查看。
- 设有两个邮件列表：bug-recutils 用于开发和问题报告，help-recutils 提供用户帮助。
- 贡献机会包括测试版本、参与开发和翻译消息。
- 由 Jose E. Marchesi 维护，基于 GNU GPLv3 或更高版本授权。" （注：根据技术文档惯例，部分术语保留英文原词如 "recfiles/org-mode/GPLv3"，"Vim/Emacs
- 等专有名词未翻译）
$50 PlanetScale Metal Is GA for Postgres
5 months ago
- PlanetScale Metal for Postgres现已推出更小规格和更低价格的选项，每月仅需50美元起。
- 新推出的M-10配置提供1GiB内存，存储容量可选范围从10GB至1.2TB。
- 采用本地连接的NVMe驱动器，实现低延迟、高可靠性和成本效益。
- CPU、内存和存储的解耦设计支持灵活配置，以满足不同工作负载需求。
- 客户现在可获得每GiB内存对应高达300GB的存储空间，远超AWS的同类产品。
- 在AWS区域同时支持Intel和ARM架构CPU，并即将增加对GCP平台的支持。
Sqlit – A lazygit-style TUI for SQL databases
5 months ago
- sqlit 是一款轻量级 SQL 数据库终端用户界面工具，专为无需复杂图形界面即可快速便捷查询而设计。
- 支持多种数据库，包括 Postgres、MySQL、SQL Server、SQLite、Supabase、Turso 等。
- 功能包含连接管理界面、SSH 隧道、Vim 风格编辑、查询历史记录和 SQL 自动补全。
- 无需命令行配置，只需运行 `sqlit` 并选择连接即可。
- 内置 Tokyo Night 和 Nord 等主题配色，自动检测并安装所需 ODBC 驱动程序。
- 提供 CLI 模式支持脚本和 AI 代理操作，可输出 CSV 和 JSON 等格式。
- 凭据安全存储于 `~/.sqlit/` 目录，并设置严格权限限制。
- 受 lazygit 启发，sqlit 强调直观操作——屏幕显示快捷键提示，无需查阅外部文档。
- 数据库专用 Python 包可选择性预装，sqlit 会在需要时主动提示安装。
Ruby Weekly #780: What's New in Ruby 4.0
5 months ago
- Ruby 4.0预计将于圣诞节发布，核心变更由Nithin Bekal总结
- Ruby 4.0.0预览版3已发布，包含自预览版2以来的数百项细微改进
- CERN选择TimescaleDB作为下一代归档工具，称其性能显著提升
- 关于如何为Rails应用选择合适管理插件的讨论，灵感来自37signals的Fizzy应用
- 重点介绍利用AI解决方案的智能Rails应用作为当今开发工具
- 季节性技巧包括用Stimulus为应用添加雪花效果和优雅的Rails确认对话框
- TreeHaver作为Tree-Sitter与Citrus解析库的跨Ruby适配器亮相
- ruby-ti静态类型检查器(Go语言编写，支持mruby)现已包含LSP支持
- Kimurai 2.0发布，这个Ruby网页抓取框架已适配Ruby 3.x标准
- Loofah 2.25.0更新了HTML/XML处理与消毒工具
- 2025年Top5 Ruby视频：从Ruby版Jupyter Notebook到Matz专访
- 本年最后一期，或将针对Ruby 4.0发布增刊
SQLite: The Session Extension
5 months ago
- SQLite中的会话扩展记录对表的更改，并将这些更改打包成变更集或补丁集文件。
- 变更集可以应用到具有相同架构的其他数据库中以合并更改。
- 该扩展支持INSERT、DELETE和UPDATE操作，但要求表必须具有主键。
- 会话扩展会忽略主键列中的NULL值。
- 变更集可以反转以'撤销'更改。
- 该扩展自SQLite 3.13.0版本起被包含，但默认处于禁用状态。
- 在SQLite 3.17.0之前，会话扩展仅适用于rowid表。
- 会话扩展不支持虚拟表。
- 应用变更集时可使用冲突解决选项。
- 示例代码演示了如何捕获、应用和遍历变更集。
Go ahead, self-host Postgres
5 months ago
- 自托管Postgres并不像云服务商宣传的那么可怕
- 云数据库通常运行的是开源Postgres的修改版本
- 自托管方案成本更低且能提供更灵活的配置控制
- 通过自定义设置，自托管可以实现更优的性能表现
- AWS RDS等托管服务主要增加运维工具而非专有技术
- 自托管需要自行处理备份、监控和故障响应等运维工作
- 内存配置、连接数、存储和WAL设置是优化自托管Postgres的关键
- 除特定需求的极小规模初创公司或大型企业外，自托管对多数场景都适用
- 未来可能会出现结合托管服务与自托管优势的混合部署模式
More databases should be single-threaded
5 months ago
- 传统SQL数据库面临事务模式（READ COMMITTED可提交读、REPEATABLE READ可重复读、SERIALIZABLE可串行化）导致死锁、竞态条件和扩展瓶颈的问题。
- SQLite等单写入器数据库通过确保每次只有一个写入器来避免写入冲突，但无法扩展到多个写入器。
- 数据库分片有助于扩展，但会带来跨分片查询、复杂基础设施和困难的事务/迁移等挑战。
- 乐观并发控制、Saga模式和两阶段提交可以缓解部分分片问题，但需要权衡取舍。
- 分片式单线程数据库具有概念纯粹性、可串行化事务和水平扩展能力，但需要早期就确定分片方案。
- ScyllaDB和VoltDB等现有解决方案采用每核分片概念，但主要针对高规模应用，普通Web开发者难以采用。
- 一个『基本兼容Postgres』、支持可串行化事务和良好分片的数据库，可以在不彻底改变范式的情况下解决许多常见问题。
Your Supabase Is Public
5 months ago
- Supabase的匿名密钥经常处于未保护状态，导致整个数据库暴露。
- 常见问题：用户表公开且未启用行级安全(RLS)。
- 示例：通过curl命令使用匿名密钥即可获取用户数据。
- Supabase在创建未设置RLS的公开表时缺乏警告机制。
- 对比：Pocketbase的默认安全设置更为完善。
- 隐患：许多Supabase项目可能无意中暴露了数据库。
- 建议：Supabase应加强默认安全警告功能。
Worst Case Optimal Joins: Graph-Join Correspondence
4 months ago
- 最坏情况最优连接(WCOJ)简介及其设计动机
- 通过TPC-H查询5(本地供应商交易量)案例解析连接模式
- SQL连接操作的图表示法：展示图结构与连接查询的对应关系
- 三角形查询的SQL与Datalog实现示例，重点解析模式匹配机制
- 图论概念(顶点覆盖、独立集、团、边覆盖)在连接查询中的应用
- 连接输出结果的大小边界分析，包含AGM边界与分数边覆盖理论
- 最坏情况最优连接(WCOJ)的性能保证与局限性说明
- WCOJ与传统二元连接策略的对比研究
- 具体WCOJ算法的未来探索方向
C Is Best
4 months ago
- SQLite自2000年诞生以来一直使用C语言实现，目前没有改变这一现状的计划。
- 选择C语言开发SQLite是因其速度快、可移植性强且依赖极少。
- 与C++或Java不同，C语言使得SQLite能被任何编程语言调用。
- 面向对象编程是一种设计模式，并不局限于特定语言，SQLite已高效运用了过程式代码。
- 在SQLite开发之初，Rust或Go等安全语言尚未出现，且这些语言可能带来比解决更多的问题。
- 若满足特定前提条件，SQLite未来可能考虑用Rust重写，但Go语言因其对assert()的立场基本无可能被采用。
Sorted string tables (SST) from first principles
4 months ago
- SSD与内存：理解数据如何从SSD提取到内存对数据库性能至关重要
- 存储设备上的页：SSD以4KB页为单位读取数据，因此空间局部性和时间局部性对减少读取放大非常重要
- SSD上的不可变性：由于块级数据重写的开销，SSD更适合不可变数据结构
- SSD持久化存储：日志和SST等不可变的、批量对齐的数据结构是SSD的理想选择
- 排序字符串表(SST)：SST按键排序存储数据，支持高效二分查找并充分利用空间局部性
- 数据块：SST数据块按键排序并编码，以实现高效的磁盘存储和检索
- 索引：SST使用索引快速定位数据块，避免扫描整个文件
- 过滤器索引：布隆过滤器和最小/最大过滤器可在访问数据块前判断键是否存在于SST中
- 元数据块：存储索引块和过滤器块位置等关键信息
- SST作为通用构建块：通过巧妙的键编码，SST可以建模多种数据访问模式
- 键编码策略：命名空间、复合键、二级索引等技术使SST能灵活建模数据
- SST的重要性：SST充分发挥SSD和对象存储优势，成为众多数据库系统的核心基础组件
Rqlite: Distributed Database Built on SQLite
4 months ago
- rqlite是一个基于SQLite构建的轻量级分布式关系型数据库，兼具简洁性与容错性。
- 核心特性包括：关系型功能支持、通过SQLite扩展实现可扩展性、原子写入以及变更数据捕获。
- 运维便捷：部署简单、通过Raft协议实现高可用、动态集群管理、无忧备份。
- 开发者友好：提供便捷API、内置安全设计、读写一致性可调节。
- 典型应用场景：边缘计算/IoT部署、云服务简化、读密集型全球分布式应用。

About|Login

#database

Gel Joins Vercel

Valkey is an open source (BSD) high-performance key/value datastore

PGlite – Embeddable Postgres

Why ID Format Matters More Than ID Generation (Lessons from Production)

Stoolap: High-performance embedded SQL database in pure Rust

Disk can lie to you when you write to it

Show HN: LinkedQL – Live Queries over Postgres, MySQL, MariaDB

Pg_AI_query v0.1.0 – First stable release with multi-model AI for PostgreSQL

GNU recutils: Plain text database

$50 PlanetScale Metal Is GA for Postgres

Sqlit – A lazygit-style TUI for SQL databases

Ruby Weekly #780: What's New in Ruby 4.0

SQLite: The Session Extension

Go ahead, self-host Postgres

More databases should be single-threaded

Your Supabase Is Public

Worst Case Optimal Joins: Graph-Join Correspondence

C Is Best

Sorted string tables (SST) from first principles

Rqlite: Distributed Database Built on SQLite