Mooncake：PostgreSQL 实时列存与 Apache Iceberg 湖仓套件 on Mooncake

Hello World 快速上手教程

Mon, 01 Jan 0001 00:00:00 +0000

本教程将带你体验 pg_mooncake 的核心操作流程：创建标准的 PostgreSQL 行存表，创建实时同步的列存镜像表（USING mooncake），执行事务级 INSERT、UPDATE、DELETE 与 ROLLBACK，以及在列存镜像表与常规行存表之间执行混合 JOIN 查询。

v0.1 架构说明 (Delta Lake 与 USING columnstore)

Mon, 01 Jan 0001 00:00:00 +0000

pg_mooncake v0.1 历史归档文档（Delta Lake 引擎）

本页归档的是早期 pg_mooncake v0.1 版本文档（采用直接 CREATE TABLE ... USING columnstore DDL 与 Delta Lake 存储）。从 v0.2 及 PGSTY 维护的 v0.3.0 版本起，pg_mooncake 已全面转向基于 moonlink 的实时列存镜像架构（CALL mooncake.create_table + USING mooncake）与 Apache Iceberg v2。最新文档请参阅简介与 v0.1 与 v0.2 / v0.3 架构演进对比。

创建列存镜像表

Mon, 01 Jan 0001 00:00:00 +0000

在 pg_mooncake 中，列存表通过 mooncake.create_table 存储过程创建，作为现有 PostgreSQL 行存表（普通堆表或分区表）的**实时同步镜像（Columnstore Mirror）**运行。

存储过程签名

CALL mooncake.create_table(
    dst text,
    src text,
    src_uri text DEFAULT NULL,
    table_config json DEFAULT NULL
);

参数名称	类型	默认值	参数说明
`dst`	`text`	（必填）	要创建的目标列存镜像表名称（支持 `schema.table` 格式，未指定 Schema 时默认为 `public`）。
`src`	`text`	（必填）	作为复制源的 PostgreSQL 行存表或分区父表名称（支持 `schema.table` 格式）。
`src_uri`	`text`	`NULL`	当从外部远程 PostgreSQL 实例复制时，指定远程连接串（`postgresql://user:pass@host:port/dbname`）。为 `NULL` 时默认从当前本地数据库复制。
`table_config`	`json`	`NULL`	可选的 JSON 配置对象，用于定制 Moonlink 表级摄取与存储参数（例如 `write_buffer_size`）。

参数名勘误说明：请使用 src_uri（而非 source_uri）

上游早期 v0.2 文档中存在一处笔误，将远程连接参数写成了 source_uri => 'postgresql://...'。在 pg_mooncake 的真实 SQL 定义（src/functions.rs）中，该参数的准确名称为 src_uri。使用命名参数调用时请务必传入 src_uri => 'postgresql://...'。

系统架构

Mon, 01 Jan 0001 00:00:00 +0000

pg_mooncake（v0.3.0）在单个 PostgreSQL 实例内部深度融合了三个核心组件：

pg_duckdb（v1.2.0）：在 PostgreSQL 进程内嵌入 DuckDB v2.0.0 向量化分析执行引擎，并将涉及非堆表访问方法的分析查询路由至 DuckDB 执行。
moonlink（v0.0.1）：内嵌于 pg_mooncake 后台工作进程中的 Rust 实时列存引擎，负责消费 PostgreSQL 逻辑复制流、维护内存 Apache Arrow 写缓冲区与 Roaring Bitmap 删除向量、刷写 Parquet 数据文件，并生成 Apache Iceberg v2 表元数据。
duckdb_mooncake（v0.0.2）：随 pg_mooncake 打包至本地扩展目录（mooncake.extension_repository）并自动加载的 DuckDB 2.0 C++/Rust 存储扩展。它通过本地 Unix 域套接字 RPC（pg_mooncake/moonlink.sock）与 Moonlink 通信，融合扫描磁盘 Parquet 文件与内存 Arrow 批次。

三者共同向 PostgreSQL 暴露了原生的 USING mooncake 表访问方法（Table Access Method），并通过 CALL mooncake.create_table(dst, src) 进行统一管理。

路线图

Mon, 01 Jan 0001 00:00:00 +0000

说明

下方路线图保留了上游 docs.mooncake.dev/pg/roadmap 发布的 pg_mooncake v0.2 历史设计规划，并补充了当前 pgsty/pg_mooncake（v0.3.0）分支的长期工程维护重点。

PGSTY 维护重点（`v0.3.0+`）

PGSTY 维护的 Mooncake 套件（pg_mooncake v0.3.0、duckdb_mooncake v0.0.2、moonlink v0.0.1）专注于生产环境长期可用性、PostgreSQL 大版本覆盖与依赖安全加固：

实时操作分析 (HTAP)

Mon, 01 Jan 0001 00:00:00 +0000

如果你正在 PostgreSQL 业务表上运行缓慢的分析查询（例如实时报表看板、面向客户的统计指标、多维聚合查询），pg_mooncake 提供了一条极简的加速路径：

Moonlink 实时摄取引擎

Mon, 01 Jan 0001 00:00:00 +0000

Moonlink（pgsty/moonlink，当前正式版本 v0.0.1）是一个使用 Rust 编写的高性能实时列存摄取库与独立服务，旨在无需引入 Apache Spark 或 Kafka 的前提下，面向在线业务系统与事件流实时构建并维护 Apache Iceberg v2 与 Delta Lake 表。

v0.1 快速开始

Mon, 01 Jan 0001 00:00:00 +0000

pg_mooncake v0.1 历史归档文档（Delta Lake 引擎）

查询列存表与支持的查询形态

Mon, 01 Jan 0001 00:00:00 +0000

通过 CALL mooncake.create_table(dst, src) 创建的列存镜像表可以直接使用标准 PostgreSQL SELECT 语法进行查询。在底层，pg_mooncake 与 pg_duckdb 1.2.0 会将分析型查询自动转换并下推至内嵌的 DuckDB v2.0.0 向量化执行引擎。

PostgreSQL 大表分区冷热归档

Mon, 01 Jan 0001 00:00:00 +0000

pg_mooncake 的列存镜像表将数据写为高压缩比的 Parquet 文件（保存在本地磁盘或 AWS S3 / Cloudflare R2 对象存储上），使你能够在 PostgreSQL 行存中仅保留近期热分区，同时在列存镜像中以极低成本持久化保留完整的历史数据。

开源许可

Mon, 01 Jan 0001 00:00:00 +0000

PGSTY Mooncake 生态完整保留了 Mooncake Labs, Inc. 为各个代码仓库设定的上游许可证条款。

各仓库许可证总览

组件	代码仓库	许可证	说明
`pg_mooncake`	`pgsty/pg_mooncake`	`MIT`	宽松开源许可证（`Copyright (c) 2024 Mooncake Labs`）。
`duckdb_mooncake`	`pgsty/duckdb_mooncake`	`MIT`	宽松开源许可证（`Copyright (c) 2025 Mooncake Labs`）。
`moonlink`（核心引擎）	`pgsty/moonlink`	`BSL-1.1` + 链接豁免	Business Source License 1.1，附带 `PG_MOONCAKE LINKING & DISTRIBUTION EXCEPTION`，将于 `2029-05-05` 自动转换为 `Apache-2.0`。
`moonlink`（客户端 Crate）	`moonlink_rpc`、`moonlink_proto`、`moonlink_error`、`moonlink_table_metadata`	`MIT`	显式采用 MIT 许可，确保 `pg_mooncake` 与 `duckdb_mooncake` 链接客户端接口时保持纯 MIT 属性。
伴生文档站	`pgsty/mooncake.pgsty.com`	`CC-BY-4.0` / `Apache-2.0`	文档正文采用知识共享署名 4.0 国际许可协议（`CC-BY-4.0`）；站点构建脚本采用 `Apache-2.0`。

`pg_mooncake` 与 `duckdb_mooncake` — MIT 许可证

pg_mooncake 与 duckdb_mooncake 均采用 MIT License 发布：

已知限制说明

Mon, 01 Jan 0001 00:00:00 +0000

在生产环境部署使用 pg_mooncake（v0.3.0）之前，请仔细阅读以下架构约束与当前已知限制。

1. 列存镜像表为只读副本

通过 CALL mooncake.create_table(dst, src) 创建的表采用 USING mooncake 表访问方法，本质上是只读列存镜像表：

v0.1 Hello World (USING columnstore)

Mon, 01 Jan 0001 00:00:00 +0000

pg_mooncake v0.1 历史归档文档（Delta Lake 引擎）

duckdb_mooncake 与 DuckDB 2.0 集成

Mon, 01 Jan 0001 00:00:00 +0000

duckdb_mooncake（pgsty/duckdb_mooncake，当前正式版本 v0.0.2，MIT 许可证）是面向 DuckDB v2.0.0 的 C++ 与 Rust FFI 存储扩展。它使 DuckDB（无论是独立运行还是通过 pg_duckdb 1.2.0 内嵌在 PostgreSQL 中）能够直接挂载 moonlink 元数据目录，并对 Moonlink 表执行高性能向量化扫描。

Apache Iceberg v2 与对象存储配置

Mon, 01 Jan 0001 00:00:00 +0000

pg_mooncake（v0.3.0）中的每一张列存镜像表均由 moonlink 驱动，底层数据存储为标准的 Parquet 文件，并自动维护 Apache Iceberg v2 表元数据。

默认情况下，Moonlink 将文件保存在本地数据目录 $PGDATA/pg_mooncake/ 下。你可以配置 pg_mooncake 直接将数据写入 Amazon S3、Cloudflare R2、MinIO 或 Google Cloud Storage (GCS)，从而让外部数据湖计算引擎（DuckDB、Apache Spark、Trino、Snowflake、PyIceberg）直接从对象存储读取你的 PostgreSQL 表数据。

PostgreSQL 湖仓一体 (The Postgres Lakehouse)

Mon, 01 Jan 0001 00:00:00 +0000

**湖仓一体（Lakehouse）**架构将数据以开放表格式（Apache Iceberg 或 Delta Lake）统一存储在对象存储上，使多个计算引擎——PostgreSQL、DuckDB、Apache Spark、Snowflake、Trino 以及 Python（Polars / PyIceberg）——能够共享同一份数据，而无需反复拷贝。

v0.1 云端对象存储配置 (mooncake.create_secret)

Mon, 01 Jan 0001 00:00:00 +0000

pg_mooncake v0.1 历史归档文档（Delta Lake 引擎）

下载与安装

Mon, 01 Jan 0001 00:00:00 +0000

pg_mooncake（内嵌 moonlink 实时摄取引擎与 duckdb_mooncake DuckDB 扩展）已面向 16 个 Linux 发行版与 CPU 架构目标（el8、el9、el10、d12、d13、u22、u24、u26 × x86_64 / aarch64）以及 PostgreSQL 14、15、16、17、18 五个大版本构建并发布原生 RPM 与 DEB 软件包（共计 80 个预编译二进制包）。

致谢与来源

Mon, 01 Jan 0001 00:00:00 +0000

上游原作者致谢

pg_mooncake、duckdb_mooncake 与 moonlink 由 Mooncake Labs 团队创建。所有核心架构设计——包括行存 + 列存混合表模型、Moonlink 实时 Iceberg 缓冲引擎、逻辑复制 WAL 摄入流水线以及 DuckDB 向量化执行桥接——均归属于 Mooncake Labs 原作者与社区贡献者。

v0.1 在 Neon Postgres 上使用

Mon, 01 Jan 0001 00:00:00 +0000

pg_mooncake v0.1 历史归档文档（Delta Lake 引擎）

v0.1 与 v0.2 / v0.3 架构演进对比

Mon, 01 Jan 0001 00:00:00 +0000

pg_mooncake 的技术架构经历了三个关键演进阶段：

v0.1（早期 Delta Lake 架构）：引入直接通过 CREATE TABLE ... USING columnstore 创建的列存表，底层基于 Delta Lake 与早期 pg_duckdb 实现读写。
v0.2（Moonlink 与 Apache Iceberg 架构重设计）：废弃对列存表的直接写入，改用由 moonlink 逻辑复制驱动的**实时列存镜像（Columnstore Mirror）**架构（CALL mooncake.create_table(dst, src) + USING mooncake），引入内存 Arrow 写缓冲、Roaring 删除向量与 Apache Iceberg v2 元数据。
v0.3.0（PGSTY 社区维护正式版）：将 pg_mooncake 升级至 pgrx 0.19.3（全面支持 PostgreSQL 14–18），将 duckdb_mooncake v0.0.2 移植适配至 pg_duckdb 1.2.0 与 DuckDB v2.0.0，修复了 Moonlink（v0.0.1）在无关表推进 WAL 时的快照挂起问题与分区表复制标识设置，并修复了 20 余项 RustSec 依赖安全漏洞。

寻找 v0.1 历史版本文档？

早期 v0.1 版本（USING columnstore、mooncake.create_secret、mooncake.columnstore_tables、mooncake.read_parquet）的完整文档已归档保留在 v0.1 历史文档 (Delta Lake) 中。

v0.1 参考手册总览

Mon, 01 Jan 0001 00:00:00 +0000

pg_mooncake v0.1 历史归档文档（Delta Lake 引擎）

在 Postgres 中直接查询外部数据湖

Mon, 01 Jan 0001 00:00:00 +0000

由于 pg_mooncake（v0.3.0）通过 pg_duckdb 1.2.0 内嵌了 DuckDB v2.0.0 引擎，你可以在不将数据事先导入本地堆表的情况下，直接从 PostgreSQL 查询外部数据湖（本地磁盘、AWS S3、Cloudflare R2、GCS、HTTP 或 HuggingFace hf:// 数据集）中的文件。

日志分析与 OpenTelemetry

Mon, 01 Jan 0001 00:00:00 +0000

在传统架构中，人们很少使用 PostgreSQL 承载大规模日志分析，因为行存堆表与索引的磁盘占用增长极快，且对数千万条日志执行全表聚合扫描非常缓慢。

借助 pg_mooncake，你可以将按时间分区的 PostgreSQL 行存写入与基于对象存储的列存镜像结合起来：

商标声明

Mon, 01 Jan 0001 00:00:00 +0000

独立维护声明

mooncake.pgsty.com 以及 github.com/pgsty 组织下的代码仓库（pgsty/pg_mooncake、pgsty/duckdb_mooncake、pgsty/moonlink）由 PGSTY (Pigsty) 面向 PostgreSQL 开源社区独立维护。

v0.1 列存表 DDL (USING columnstore)

Mon, 01 Jan 0001 00:00:00 +0000

pg_mooncake v0.1 历史归档文档（Delta Lake 引擎）

SBOM 与安全审计

Mon, 01 Jan 0001 00:00:00 +0000

本页记录了 pg_mooncake v0.3.0、duckdb_mooncake v0.0.2 与 moonlink v0.0.1 的精确子模块版本矩阵（versions.json）以及 Cargo 依赖安全审计结果。

组件与子模块版本矩阵（`versions.json`）

pgsty/pg_mooncake 在仓库根目录的 versions.json 中记录了所有子模块与上游依赖的精确提交哈希：

v0.1 在 Postgres 外部查询列存表

Mon, 01 Jan 0001 00:00:00 +0000

pg_mooncake v0.1 历史归档文档（Delta Lake 引擎）

v0.1 GUC 配置参数

Mon, 01 Jan 0001 00:00:00 +0000

pg_mooncake v0.1 历史归档文档（Delta Lake 引擎）

v0.1 数据导入指南

Mon, 01 Jan 0001 00:00:00 +0000

pg_mooncake v0.1 历史归档文档（Delta Lake 引擎）

v0.1 查询外部数据文件

Mon, 01 Jan 0001 00:00:00 +0000

pg_mooncake v0.1 历史归档文档（Delta Lake 引擎）

v0.1 支持的查询形态

Mon, 01 Jan 0001 00:00:00 +0000

pg_mooncake v0.1 历史归档文档（Delta Lake 引擎）

v0.1 数据归档方案

Mon, 01 Jan 0001 00:00:00 +0000

pg_mooncake v0.1 历史归档文档（Delta Lake 引擎）

v0.1 操作型分析（触发器 + pg_cron 暂存表方案）

Mon, 01 Jan 0001 00:00:00 +0000

pg_mooncake v0.1 历史归档文档（Delta Lake 引擎）

v0.1 数据仓库与 dbt 集成

Mon, 01 Jan 0001 00:00:00 +0000

pg_mooncake v0.1 历史归档文档（Delta Lake 引擎）

页面未找到

Mon, 01 Jan 0001 00:00:00 +0000

您访问的页面可能已被移动、删除或不存在。请使用顶部搜索栏（⌘K）或返回 Mooncake 文档首页。

pg_mooncake 0.3.0 发布：PGSTY 首版发布，全面适配 DuckDB 2.0、pgrx 0.19.3 与 PostgreSQL 14–18

Thu, 05 Nov 2026 00:00:00 +0000

pg_mooncake 0.3.0（随同 duckdb_mooncake v0.0.2 与 moonlink v0.0.1 同步发布）是由 PGSTY 维护的 Mooncake 实时分析套件的首个正式版本：

pgsty/pg_mooncake v0.3.0（MIT 许可证）
pgsty/duckdb_mooncake v0.0.2（MIT 许可证）
pgsty/moonlink v0.0.1（附带 PG_MOONCAKE LINKING & DISTRIBUTION EXCEPTION 的 BSL-1.1 许可证，客户端 crate 为 MIT）

面向 PostgreSQL 14、15、16、17、18，覆盖 RHEL / Rocky / AlmaLinux 8、9、10 与 Debian 12/13、Ubuntu 22.04/24.04（x86_64 与 aarch64）的 RPM 与 DEB 二进制软件包现已通过 PGEXT 软件源与 Pigsty 正式提供。

将 pg_mooncake 与 duckdb_mooncake 迁移至 DuckDB 2.0、pg_duckdb 1.2.0 与 pgrx 0.19.3

Thu, 05 Nov 2026 00:00:00 +0000

当 Mooncake Labs 在发布 v0.2.0 后暂停对 pg_mooncake 的公开更新时，该扩展停留在早期的 DuckDB 1.3.x / pg_duckdb 快照与 pgrx 0.12 上。与此同时，PostgreSQL 社区已经演进至 PostgreSQL 18、pgrx 0.19.3 以及基于 DuckDB v2.0.0 的 pg_duckdb 1.2.0。

Mooncake 正式加入 Databricks！

Wed, 01 Oct 2025 00:00:00 +0000

十三个月前，我们创立了 Mooncake，旨在将支撑 OpenAI 等科技巨头的数据智能技术栈带给每一个现代应用与每一位开发者——从第一行 Prompt 直到公司上市（IPO）。

Mooncake 技术白皮书：面向 Apache Iceberg 的实时存储引擎

Mon, 11 Aug 2025 00:00:00 +0000

这篇技术白皮书假设读者已对开放分析表格式 Apache Iceberg 有所了解。Iceberg 是现代“数据湖仓（Lakehouse）”运动的核心基石，它允许用户：

将大规模数据集以开放文件格式（Parquet + 元数据）存储在廉价对象存储中；
使用 Spark、Trino、Flink、DuckDB 等多种计算引擎通过 SQL 直接查询；
获得 Schema 演进与时间旅行（Time Travel）等数据库级特性；
实现近乎无限的弹性扩展，彻底摆脱单一供应商锁定。

然而，Iceberg 生来是为低频变更数据与批量分析处理而设计的。在批处理领域，随着各大引擎对开放格式读取能力的持续优化，这套体系已经非常成熟。

不，单靠 Iceberg 拯救不了你的数据栈

Mon, 21 Jul 2025 00:00:00 +0000

人生总是充满了“理想与现实的落差”。今天我们就来聊聊数据社区的新宠——Apache Iceberg 的理想与现实。

理想：Iceberg 能解决我所有的数据痛点

平心而论，Iceberg 的核心设计理念非常漂亮：

可是，我的 Postgres（+ 数据湖仓）是免费的呀

Fri, 13 Jun 2025 00:00:00 +0000

友情提示： 你的 Postgres 和数据湖仓（Lakehouse）同样是自由且开源的——你完全不需要成为（或者像巨头一样挥霍数亿美金）才能拥有它们。

为什么是 Postgres + Lakehouse？

原因一：如果你相信 AI，这就是智能体（Agent）的标准技术栈

AI 智能体需要记忆——既需要即时响应的工作记忆（Working Memory），也需要海量的长期知识（Long-Term Knowledge）。

HTAP 已死，精神长存

Mon, 05 May 2025 00:00:00 +0000

本文的灵感源自 Jordan Tigani 的经典博文《Big Data is Dead（大数据已死）》。事实上，Jordan 和我曾一起在 SingleStore 共事，联手打造过一套 HTAP 数据库。

黄金年代（1980 年代）

回到 80 年代，一套关系型数据库包揽了一切：白天跑在线事务（OLTP），下班后跑分析报表（OLAP）。像 Oracle V2 和 IBM DB2 这样的系统在同一台机器上同时承载 OLTP 和 OLAP——主要是因为当时的数据集还能装进几块磁盘里，而且计算硬件极其昂贵。

“在 Postgres 中做分析”究竟意味着什么？

Sun, 23 Mar 2025 00:00:00 +0000

当今数据库领域很少有方向比“扩展 Postgres 以支持分析查询”更炙手可热了。这其实也算不上什么全新的课题——在过去十年间，业界已经有过许多次尝试：

以下是我与大量客户交流后的核心总结——“Postgres 分析”对用户而言究竟意味着什么？以及为什么尽管我们在 pg_mooncake 第一阶段取得了一定成果，这个领域的终极难题在很长时间里依然悬而未决？

pg_mooncake v0.2 架构前瞻：开箱即用的实时列存与逻辑复制

Tue, 11 Feb 2025 00:00:00 +0000

在 v0.1 中，我们证明了 PostgreSQL 完全能够提供顶级的分析性能。通过将 DuckDB 向量化执行引擎与列存表相结合，pg_mooncake 成为了 Postgres 生态中唯一同时集成这两大能力的扩展。

实测成绩说明了一切：pg_mooncake 闯入了 ClickBench 全球前十，并打造出了最快的基于 Parquet 的执行引擎。

如何让 DuckDB 在 Parquet 文件上的查询性能再上一个台阶

Wed, 22 Jan 2025 00:00:00 +0000

上周，我们在 PostgreSQL 上运行了 ClickBench 基准测试并成功闯入全球前十，证明了通过 pg_mooncake 扩展，Postgres 完全能够胜任严肃的大规模分析负载。

在成绩公布后，我们收到了许多开发者的提问：既然 pg_mooncake 内部嵌入了 DuckDB 并将数据存储为 Parquet 格式，为什么它在 Parquet 文件上的查询速度反而比直接使用 DuckDB 扫描还要快？

ClickBench 基准测试证明：Postgres 是一流的分析型数据库

Tue, 14 Jan 2025 00:00:00 +0000

太长不看版（TL;DR）： 经过几个月的深度优化，我们让 PostgreSQL 成功闯入了 ClickBench 全球前十——这个榜单长期以来一直被各种专门构建的 OLAP 分析数据库所统治。

更重要的是，所有计算均在 Postgres 进程内完成，所有表均由 PostgreSQL 直接管理——它绝不是一个简单的外部代理包装器。这就是 pg_mooncake 的故事。

S3 Tables 究竟是个啥？

Sun, 12 Jan 2025 00:00:00 +0000

亚马逊在去年的 re:Invent 大会上发布了 S3 Table Buckets（S3 表存储桶）。一个既是 S3 存储桶、同时又是一张数据库表的东西？这到底是什么意思？

太长不看版（TL;DR）： S3 Tables 让 Apache Iceberg 表可以脱离外部 Catalog（目录服务）独立存在。下面听我详细拆解。

PostgreSQL 中最简单的极速分析方式：pg_mooncake v0.1 正式发布

Sat, 11 Jan 2025 00:00:00 +0000

我们在创业第 60 天向世界首次宣布了 pg_mooncake。

今天（第 131 天），pg_mooncake 正式结束 Beta 阶段，发布 v0.1.0。

pg_mooncake 的核心竞争力在于极致易用性与强悍性能。在 v0.1 中，我们在这两个方向上全力加码。

pg_mooncake 🤝 Drizzle：用强类型 ORM 驱动分析查询

Wed, 08 Jan 2025 00:00:00 +0000

在 pg_mooncake 发布之初，有一件事出乎我们的意料：开发者们非常关心能否在分析型负载中继续使用熟悉的 ORM。我们经常收到两类典型需求：

“我手头有一堆 Parquet 文件，我希望能在它们之上获得完整的 ORM 类型支持。”
“我在事务数据库里用了 Drizzle / Prisma，我也希望能直接用它来写分析报表和仪表盘查询。”

我们始终坚信，Postgres 中的列式存储在外观和使用体验上必须像一张普通堆表。这正是 pg_mooncake 列存表的核心创新所在：你可以对它执行事务、更新、删除，并与普通堆表直接关联（JOIN）。

pg_mooncake + Neon：PostgreSQL 中的 Serverless 实时分析

Tue, 07 Jan 2025 00:00:00 +0000

pg_mooncake 在两个月前发布了 Beta 版，为 PostgreSQL 带来了列式存储与向量化查询执行引擎。

在过去两个月与早期用户的打磨过程中，我们突然意识到：我们无意间打造出了最优秀的 Serverless 分析数据库。故事是这样的：

pg_mooncake：基于列存表与 DuckDB 的 Postgres 极速分析引擎

Wed, 06 Nov 2024 00:00:00 +0000

pg_mooncake 将列存表（Columnstore Tables）与 DuckDB 向量化执行引擎引入 PostgreSQL，以实现极速分析查询。

它像普通 Postgres 表一样支持事务性的 INSERT、UPDATE 和 DELETE。底层数据以 Parquet 文件配合 Delta Lake（以及 v0.2+ 中的 Apache Iceberg）表元数据写入，因此也可以在 Postgres 外部直接查询。

Mooncake：下一代搜索与分析系统

Wed, 30 Oct 2024 00:00:00 +0000

我们是 Zhou、Cheng 和 Pranav。过去十年里，我们一直在 MemSQL（现名 SingleStore）研发数据库内核。

我们热爱复杂系统、硬核工程技术，当然还有——物理学 🙂 数据系统就像物理学一样，建立在若干基本公理之上。这些原则必须自洽且持久。

Iceberg Meetup 参会随想

Tue, 08 Oct 2024 00:00:00 +0000

上个月，我在 Snowflake 总部举办的 Iceberg Meetup 上做了一场演讲。公开演讲从来都不是我的强项，而台下坐着 Snowflake CEO Sridhar 和 Tabular CEO Ryan 更是让人倍感压力。

那天是我创立 Mooncake Labs 的第 18 天，我在演讲中探讨了面向 Apache Iceberg 的通用索引框架（演讲幻灯片见这里）。以下是我从这次聚会中收获的几点启发：

我们学到的几条铁律

Sun, 08 Sep 2024 00:00:00 +0000

这篇文章的标题其实应该叫《我们用惨痛代价学到的几条铁律》。

在开启这段全新旅程之际，我们花了一些时间思考当今数据领域的底层公理——这些规律无论我们还是任何人都无法回避。

Mooncake：PostgreSQL 实时列存与 Apache Iceberg 湖仓套件 on Mooncake

Hello World 快速上手教程

v0.1 架构说明 (Delta Lake 与 USING columnstore)

创建列存镜像表

存储过程签名

系统架构

路线图

PGSTY 维护重点（v0.3.0+）

实时操作分析 (HTAP)

Moonlink 实时摄取引擎

v0.1 快速开始

查询列存表与支持的查询形态

PostgreSQL 大表分区冷热归档

开源许可

各仓库许可证总览

pg_mooncake 与 duckdb_mooncake — MIT 许可证

已知限制说明

1. 列存镜像表为只读副本

v0.1 Hello World (USING columnstore)

duckdb_mooncake 与 DuckDB 2.0 集成

Apache Iceberg v2 与对象存储配置

PostgreSQL 湖仓一体 (The Postgres Lakehouse)

v0.1 云端对象存储配置 (mooncake.create_secret)

下载与安装

致谢与来源

上游原作者致谢

v0.1 在 Neon Postgres 上使用

v0.1 与 v0.2 / v0.3 架构演进对比

v0.1 参考手册总览

在 Postgres 中直接查询外部数据湖

日志分析与 OpenTelemetry

商标声明

独立维护声明

v0.1 列存表 DDL (USING columnstore)

SBOM 与安全审计

组件与子模块版本矩阵（versions.json）

v0.1 在 Postgres 外部查询列存表

v0.1 GUC 配置参数

v0.1 数据导入指南

v0.1 查询外部数据文件

v0.1 支持的查询形态

v0.1 数据归档方案

v0.1 操作型分析（触发器 + pg_cron 暂存表方案）

v0.1 数据仓库与 dbt 集成

页面未找到

pg_mooncake 0.3.0 发布：PGSTY 首版发布，全面适配 DuckDB 2.0、pgrx 0.19.3 与 PostgreSQL 14–18

将 pg_mooncake 与 duckdb_mooncake 迁移至 DuckDB 2.0、pg_duckdb 1.2.0 与 pgrx 0.19.3

Mooncake 正式加入 Databricks！

Mooncake 技术白皮书：面向 Apache Iceberg 的实时存储引擎

不，单靠 Iceberg 拯救不了你的数据栈

理想：Iceberg 能解决我所有的数据痛点

可是，我的 Postgres（+ 数据湖仓）是免费的呀

为什么是 Postgres + Lakehouse？

原因一：如果你相信 AI，这就是智能体（Agent）的标准技术栈

HTAP 已死，精神长存

黄金年代（1980 年代）

“在 Postgres 中做分析”究竟意味着什么？

pg_mooncake v0.2 架构前瞻：开箱即用的实时列存与逻辑复制

如何让 DuckDB 在 Parquet 文件上的查询性能再上一个台阶

ClickBench 基准测试证明：Postgres 是一流的分析型数据库

S3 Tables 究竟是个啥？

PostgreSQL 中最简单的极速分析方式：pg_mooncake v0.1 正式发布

pg_mooncake 🤝 Drizzle：用强类型 ORM 驱动分析查询

pg_mooncake + Neon：PostgreSQL 中的 Serverless 实时分析

pg_mooncake：基于列存表与 DuckDB 的 Postgres 极速分析引擎

Mooncake：下一代搜索与分析系统

Iceberg Meetup 参会随想

我们学到的几条铁律

PGSTY 维护重点（`v0.3.0+`）

`pg_mooncake` 与 `duckdb_mooncake` — MIT 许可证

组件与子模块版本矩阵（`versions.json`）