database architecture

Postgres data stored in Parquet on S3: LTAP architecture explained

a month ago

作者最初以为OLTP数据库已获解决，但Databricks的构建过程揭示了它们的笨重与脆弱性，这催生了Lakebase的诞生。
像Postgres这样的传统单体数据库采用预写日志（WAL）实现快速写入，使用数据文件进行读取，但该架构会引发数据丢失、扩展困难和工作负载干扰等问题。
Lakebase通过外部化存储解决这些问题：WAL被发送到分布式SafeKeeper服务，借助Paxos复制确保持久性；数据文件则交由PageServer服务处理，后者将数据页面具体化并存储到云对象存储中。
这种无状态计算架构支持无限存储、无服务器弹性计算、零数据丢失的持久写入、更简单的高可用性，以及无需物理复制的即时分支与克隆。