跳转到主要内容

Mooncake 技术文档

PostgreSQL 实时列存与 Apache Iceberg v2 湖仓套件统一技术文档中心:涵盖 pg_mooncake (v0.3.0)、moonlink (v0.0.1) 与 duckdb_mooncake (v0.0.2)。

核心文档导航

全面了解 Mooncake 架构:解析 pg_mooncake、moonlink、duckdb_mooncake 与 pg_duckdb 1.2.0 的协同机制,以及从 v0.1 到 v0.2 / v0.3 的演进。

通过 Pigsty 软件包或从源码安装 pg_mooncake 与 pg_duckdb,跟随 Hello World 教程创建第一张列存镜像表,并了解当前已知限制。

完整查阅 mooncake.create_table、create_snapshot、optimize_table、list_tables 存储过程、支持的查询形态、Iceberg S3/R2 配置与外部数据湖扫描。

实时操作分析(HTAP)、时间分区大表冷热归档、零 ETL Postgres 湖仓一体以及 OpenTelemetry 日志分析的架构与 SQL 实践。

完整保留 pg_mooncake v0.1(USING columnstore + Delta Lake 存储)历史技术文档,供旧版存量部署参考并兼容 Wayback 历史链接。

PGSTY 社区维护说明、MIT 与 BSL-1.1 链接豁免许可证条款、Wayback Machine 历史文档恢复来源以及 Cargo 依赖安全审计报告。

核心组件与专题深入

深入解析写入路径(Logical WAL -> Moonlink)、读取路径(pg_duckdb -> duckdb_mooncake)以及双层列存格式(内存 Arrow + Parquet + Apache Iceberg v2)。

实时逻辑复制 CDC、Arrow 内存写缓冲、Roaring Bitmap 删除向量、LSN 快照一致性屏障,以及独立 moonlink_service REST/RPC 服务部署。

了解 duckdb_mooncake v0.0.2 如何连接 DuckDB 2.0 与 Moonlink 元数据,并利用多文件 Parquet 统计信息接口实现高效分段跳过。

使用 CALL mooncake.create_table(...) 将本地或远程(src_uri)PostgreSQL 普通表及分区表复制为 USING mooncake 实时列存镜像表。

配置 mooncake.default_bucket 指向 AWS S3 或 Cloudflare R2,调用 mooncake.create_snapshot 物化快照,并通过外部引擎直接读取。

在 PostgreSQL 内直接查询外部 Parquet、CSV、JSON、Apache Iceberg、Delta Lake 及 HuggingFace 数据集,并与本地行存表直接关联。