[数据湖/湖仓一体] Apache Paimon :流批一体的实时湖仓数据湖格式
0 序
定位:Apache Paimon 是一种将数据湖格式(Lake Format)与 LSM-Tree 日志结构合并树相结合的流式数据湖存储格式,用 Flink 与 Spark 构建"流批统一"的实时湖仓(Realtime Lakehouse)架构,天生为流式更新与变更数据(CDC)设计,并于 2026 年全面转向"统一湖格式 + 多模态 AI"方向。
调研对象:apache/paimon**
GitHub: https://github.com/apache/paimon ;
官网: https://paimon.apache.org
调研时间:2026-10-10调研方式: 人工 + AI
- Apache Paimon 是一种将数据湖格式与 LSM-Tree 结合的流式数据湖格式,用 Flink/Spark 构建流批一体的实时湖仓架构,天生为实时更新与 CDC 设计。
Paimon 正从 "Flink 的实时数据湖格式" 演进为 "面向流式、多模态与 AI 的统一湖格式",是数据湖实时化赛道最具上升势头的项目之一。
| 维度 | 关键信息 |
|---|---|
| 定位 | 流式优先(streaming-first)的实时湖格式,非独立引擎,以 Jar 集成 |
| 出身 | Flink Table Store → 2023-03 进入 Apache 孵化 → 2024-04 毕业成为顶级项目 |
| 最新版本 | 1.4.2(2026-06 稳定),2.0 已成 stable;1.4 单版本含 1108 commits |
| 社区 | GitHub 3,416 stars / 1,412 forks,Java、Apache-2.0,最近推送 2026-10-10(活跃) |
| 核心优势 | 流批统一、天然实时 UPSERT、LSM 低写放大、低存储成本、与 Flink 深度集成 |
| 主要短板 | 年轻、部分引擎支持有限(StarRocks/Doris 为 Limited)、查询为分钟级非毫秒级 |
| 竞争格局 | Iceberg(多引擎开放底座)、Hudi(Spark 强 UPSERT)、Delta(Databricks)、Fluss(更底层) |
| 2026 新方向 | 转向 "统一湖格式":流式湖 + Lumina 向量索引 + 多模态 / AI 一体化 |
1 概述
产品介绍
- 产品定位:Apache Paimon 是一个开源的数据湖表格式(Open Table Format),核心解决"如何在数据湖上实现实时(流式)更新与流批统一"的问题。
- 它不是独立部署的数据库或引擎,而是依附于计算引擎(Flink、Spark 等)的存储格式层,通过 Jar 包集成方式工作。
- 诞生的背景与原因:
- 传统数据湖(基于 Hive/Iceberg)为批处理设计,无法高效支持高频实时更新(UPSERT)、变更日志(changelog)读取与流式消费;
- 流式计算引擎(Flink)虽擅长实时处理,但缺乏一套为流式场景设计的底层存储;
- 现有 Upsertable 湖方案(Hudi、Delta)要么与 Spark 深度绑定、要么架构面向批处理、要么作为 Flink Sink 需要大量重构,难以"开箱即用"地支撑实时湖仓。
- 解决的核心问题:将数据湖的低成本、大容量、开放存储,与数据库/OLAP 才具备的实时更新、主键 UPSERT、ACID 事务、时间旅行、增量读取能力合二为一。
- URLs:
- 基本信息:
- 主要编程语言 Java;
- License Apache-2.0;
- 仓库创建于 2022-01-12;最近一次代码推送 2026-10-10。
发展历程
| 时间 | 里程碑 |
|---|---|
| 2020 | Flink Forward Asia 大会上首次提出构建新型数据存储的想法 |
| 2021-05 | 以 Flink Table Store(FTS) 名义发布 v0.1(初步 demo,尚不可用) |
| 2021-09 | FTS v0.2 发布,部分社区成员开始投入生产 |
| 2021 | Flink 社区发起 FLIP-188(内置动态表存储),推动 FTS 立项 |
| 2022-01-12 | GitHub 仓库 apache/flink-table-store 建立 |
| 2023-01 | FTS v0.3 发布,流式湖仓方案初步成型,可推荐生产使用 |
| 2023-03-12 | 通过投票进入 Apache 孵化器,正式更名为 Apache Paimon |
| 2023-12 | v0.6 发布,主键表与 Append 表均达到"完全生产可用"状态 |
| 2024-03/04 | 从孵化器毕业,成为 Apache 顶级项目(TLP);与 Flink、Spark、Presto、StarRocks 等引擎完成集成 |
| 2024 | 发布 v1.0、v1.2,生产就绪性得到大规模验证 |
| 2025-2026 | 发布 v1.3、v1.4(2026-04-27,共 1108 个 commit,历史上改动最大),定位转向"统一湖格式";最新 1.x 为 1.4.2(2026-06) |
| 2026 | 2.0 版本已作为 stable 稳定版发布;衍生出 paimon-rust、pypaimon、paimon-mosaic 等生态 |
关键转折点:2024 年毕业成为顶级项目,标志着 Paimon 不再是 Flink 的子项目,而是一个面向全社区、全计算引擎的独立数据湖项目。
主要功能
- 实时更新(主键表):支持主键(Primary-Key)表对海量数据进行实时流式更新,最新数据分钟级(约 1 分钟)内可查。
- 变更日志生成(Changelog Producer):可对任意输入流生成正确且完整的增量变更数据(每条 update_after 都有对应 update_before),支持
none / input / lookup / full-compaction等模式,简化下游流分析。 - Append-only 表:无主键表支持大规模批流处理,提供有序流式读取,可替代消息队列承载追加型数据(如日志同步)。
- 灵活的多表类型与更新模式:去重(保留最后一行)、部分更新(partial-update)、聚合记录(aggregation)、首行更新(first-row)等。
- ACID 事务:通过两阶段提交(two-phase commit)与快照隔离实现读己之写(read-your-writes)一致性。
- 时间旅行(Time Travel):每次写入产生不可变快照,支持任意历史快照查询。
- Schema 演化(Schema Evolution):支持增删列等完整演进能力。
- CDC 全链路同步:支持 Flink CDC、Kafka CDC,不仅能同步数据变更,还能同步 Schema 变更与整个数据库(库表级同步),大幅降低运维成本。
- 多引擎生态:Flink、Spark、Presto/Trino、StarRocks、Doris 等均可读写。
- 多模态 / AI 能力(v1.4+):引入列分离存储架构 + 全局唯一连续 Row ID,支持结构化数据与非结构化大对象(AIGC)一体化;提供 Lumina 向量索引(配合 BTree 全局索引、Tantivy 全文检索、Vortex 格式支持),支持湖内向量检索。
核心优势
- 流批统一:同一张表同时支撑 Flink 流式处理与 Spark 批处理,一套表两用。
- 天然的实时更新能力:基于 Data Lake + LSM 架构,具备强 UPSERT 能力,是四大主流湖格式中唯一"流式优先(streaming-first)"的设计。
- 低写放大:LSM 局部合并(merge is local)有效减少写放大,压缩效率高。
- 低存储成本:LSM 结构让数据在快照/Tag 间复用,在增量小的场景下存储成本可降低数百倍。
- 高数据新鲜度:更新延迟从"小时级"降到"分钟级",接近实时。
- 与 Flink 深度集成、开箱即用:作为 Flink 生态原生成员,集成成本低,运维简单(对 Flink 用户"最小运维复杂度")。
- 强大的 CDC 与库表同步:自动同步数据、Schema、数据库,降低维护与资源消耗。
主要短板
- 年轻、生态成熟度相对较低:相比 Iceberg(2017)、Hudi(2017)、Delta(2017)起步晚,多引擎生态完善度仍有差距。
- 部分引擎支持有限:例如 StarRocks/Doris 对 Paimon 的读写支持标注为 Limited(有限),尚未达到 Iceberg 的"全支持"水平。
- 流式/实时是强项,但非流式批处理场景无额外优势:对纯批处理、低频更新的负载,Paimon 的 LSM 复杂度反而是"不必要的负担"。
- 实时查询是【分钟级】而非毫秒级:提供的是分钟级数据新鲜度,与 OLAP 数据库(毫秒级)不是同一赛道,不能直接替代 【OLAP】。
局限性
- 查询延迟上限:最新数据查询最快为分钟级(约 1 分钟),无法满足毫秒级点查/即席交互场景。
- 引擎绑定惯性:设计上以 Flink 为中心,虽然支持多引擎,但"流式场景"的深度集成仍以 Flink 为最优;其他引擎若要支持流式新特性需要额外适配。
- 复杂度:LSM、压缩策略、changelog-producer、分区策略等参数众多,对初学者有学习曲线,运维调优需要专业经验。
- 不替代日志/消息队列:虽然 Append 表可替代消息队列做有序读取,但其底层仍是面向存储的湖格式,响应延迟上无法真正替代 Kafka 等日志系统。
- AI/向量能力尚处早期:多模态与向量检索(Lumina、Vortex)为 v1.4+ 新方向,处于快速演进中,生产稳定性有待市场进一步验证。
适用场景
- 实时湖仓(Real-time Lakehouse):构建基于 Flink + Paimon 的流批一体实时数仓。
- CDC 实时入湖:数据库变更数据(Flink CDC)实时写入数据湖,实现业务库的镜像表。
- 实时宽表 / 特征平台:多个流作业并发部分更新同一张表的不同列,构建实时宽表供下游查询。
- 流式 ETL 与物化视图:结合 Flink Materialized Table,用 Flink SQL 声明式地自动启停流/批作业。
- 流式日志 / 追加型数据湖:无主键 Append 表承载日志、埋点等有序追加数据。
- 多模态数据湖 + AI(2026 新方向):实时入湖 + 湖内向量检索 + AIGC 大对象一体化。
同类竞品
| 格式 | 主导/发起 | 核心定位 | 流式更新能力 |
|---|---|---|---|
| Apache Paimon | 阿里云(Flink 社区) | 流式优先的实时湖格式(LSM+Lake) | 最强,天生为流式 UPSERT 设计 |
| Apache Iceberg | Netflix / Apple / Tabular | 可靠的大规模表管理、多引擎开放底座 | 较弱,默认 COW,delete files 实现 MOR |
| Apache Hudi | Uber | 强 UPSERT / 增量处理(COW & MOR) | 较强,但架构面向 Spark 批处理 |
| Delta Lake | Databricks | 与 Spark 深度绑定的湖格式 | 一般,Spark/Databricks 生态最佳 |
| Apache Fluss(孵化中) | 阿里云 | 更底层、更实时的流存储底座 | 极强,但更偏底层存储 |
技术选型速记:
- 实时入湖 + 湖内向量检索 + AIGC 一体化 → Paimon
- 已建 Hudi 体系、强 UPSERT/CDC 且需扩展多模态 → Hudi
- 多引擎/跨云开放底座、强治理与合规、半结构化为主 → Iceberg
- 极致多模态训练随机读取性能 → 其他(如 DuckLake / 专用方案)
发展趋势
- 开源社区活跃度:仓库 2022 年创建至今,GitHub Stars 3,416、Forks 1,412、Watch 70;最近代码推送为 2026-10-10,保持高频迭代;核心贡献者以国内为主(12 名 PMC、近 10 名 Committer、200+ 贡献者,累计 3000+ PR)。
- 版本迭代节奏:0.x → 1.0 → 1.2 → 1.3 → 1.4 → 2.0,1.4 单版本即含 1108 个 commit,是史上改动最大版本,迭代速度极快。
- 多语言生态扩张:衍生出 paimon-rust(0.1/0.2)、pypaimon(Python API)、paimon-mosaic(宽表列式混合格式) 等。
- 战略方向迁移:从"流式湖格式"升级为"统一湖格式(Unified Lake Format)",以流式湖 + 向量索引(Lumina)+ 多模态数据演进三大支柱推进数据湖与 AI 的融合。
- 总结:Paimon 正从"Flink 的实时数据湖格式"演进为"面向流式、多模态与 AI 的统一湖格式",社区活跃、迭代迅猛,是数据湖实时化赛道最具上升势头的项目之一。
2 工作原理与架构
概念术语
| 术语 | 说明 |
|---|---|
| Lake Format(湖格式) | 定义数据如何以文件形式组织、元数据如何管理(快照、清单、分区)的开放标准 |
| LSM-Tree(日志结构合并树) | 一种面向高频写/更新的存储结构(RocksDB、KV 库常用),写入先落 Level 0,后台压缩合并到更高层 |
| 主键表 / Append 表 | Paimon 的两种表类型:主键表支持流式增删改;Append 表(无主键)承载插入型数据 |
| Snapshot(快照) | 每次写入产生的一个不可变数据版本,是时间旅行、ACID、增量读取的基础 |
| Manifest / 清单文件 | 描述数据文件位置与元数据的索引文件 |
| Sorted Run(排序运行) | LSM 中一层内的有序文件集合 |
| Changelog(变更日志) | 记录 INSERT/UPDATE/DELETE 的增量数据流 |
| Changelog Producer | 控制 Paimon 如何为下游生成完整 changelog 的机制(none/input/lookup/full-compaction) |
| Partial-update(部分更新) | 多个流作业并发更新同一主键表的不同列 |
| Merge Engine(合并引擎) | 决定主键相同行"最新值"如何确定的策略(去重/聚合/首行等) |
| Compaction(压缩) | 后台将多个小文件/低层 LSM 数据合并为大文件的优化过程 |
架构与运行原理
总体架构
核心存储结构:Data Lake + LSM-Tree
Paimon 最关键的架构创新,是把数据湖的文件管理与LSM-Tree 结合:
- 写入路径:写入发生在 Flink Sink 中。当检查点(checkpoint)到达时,对内存中的数据进行排序,并将记录刷新到 Level 0 的数据文件中。
- 主键定位:主键表通过分桶(bucket)把同一主键的数据路由到固定的数据文件组,避免全表扫描定位。
- 压缩(Compaction):默认在 Flink Sink 内异步执行,也可启动独立压缩作业。由于 LSM 设计,合并是局部的,可有效减少写放大(write amplification)。
- 清理:写入作业默认清理过期快照,减少分布式文件系统上的文件数量,并支持配置分区清理策略。
- 层级组织:数据按 LSM 层级(Level)组织,低层是小文件、高层是压缩后的大文件;查询时跨层合并读取,天然支持 Data Skipping(数据跳过)。
快照与元数据
- 每个快照是一个 JSON 文件,包含该快照引用的数据文件、Manifest 文件、变更日志等信息。
- 支持 增量读取(incremental):通过
INCREMENTAL命令可查询两个 Tag 之间的差异。 - 支持
CREATE TAG创建物化视图/批读表:Tag 是对快照的引用,借助 LSM 复用,创建批读表耗时从小时级降到分钟级。
变更日志(Changelog)生成机制
- 主键表若要支撑下游流式消费,必须生成完整 changelog。
- Changelog Producer 模式:
none(默认):不生成完整 changelog,适合批读/下推;input:基于输入流推断,开销低但不保证完整;lookup:基于原值查询生成完整 changelog,是流式管线的推荐选择;full-compaction:基于全量压缩生成,最完整但可能重写全部数据、代价高。
- 消费者 ID(consumer-id):类似 Kafka 的 group-id,读取时记录快照 ID,支持作业停止后从断点续读、按消费者保留未过期快照、自动传递 watermark。
列分离架构与全局 Row ID(v1.4+,面向多模态)
- 引入列分离存储架构:核心是全局唯一且连续的 Row ID。
- 每行数据首次写入时被分配一个在整个表生命周期内不变的 ID,且每个数据文件内 Row ID 连续,元数据记录该文件的 ID 区间。
- 该设计支撑结构化列 + 大对象(非结构化数据) 的一体化存储与演进,是 Paimon 多模态/AI 能力(Lumina 向量索引、Vortex 格式)的地基。
Paimon 的仓库目录结构(必读)
Paimon 的仓库目录结构约定如下:
paimon/warehouse/ ← warehouse 根路径
├── default.db/ ← database: default
│ └── <table_name>/ ← 库下的表
│ ├── schema/
│ ├── snapshot/
│ └── bucket-x/
├── ds_001.db/ ← database: ds_001
└── PAIMON_DB.db/ ← database: PAIMON_DB
判定规则:在 warehouse 根目录下,凡是以
.db结尾的一级子目录,Paimon 都将其识别为一个 database;进入该目录后,里面的每一级子目录才是 table。

3 使用指南
Paimon 不是独立服务,而是以 Jar 包形式集成到 Flink/Spark 等引擎中。以下为通用部署与关键操作。
安装部署
环境要求
- Java 8/11(随 Flink/Spark 环境);
- 一个计算引擎:Apache Flink(推荐)或 Spark、Presto/Trino 等;
- 一个存储后端:本地文件系统、HDFS、S3、OSS 等对象存储;
- 可选的元数据服务:Hive Metastore、JDBC、DLF(阿里云 Data Lake Formation)。
部署步骤(以 Flink 为例)
- 下载 Paimon Jar:从 GitHub Releases / Maven Central 获取与你的 Flink 版本匹配的包,例如
paimon-flink-<flink版本>-<paimon版本>.jar。 - 放入 Flink lib 目录:将 Jar 复制到 Flink 的
lib/目录下,重启 Flink 或使用ADD JAR动态加载。 - 配置 Catalog:在 Flink SQL 中创建 Paimon Catalog,指定 metastore(filesystem/hive/jdbc/dl 等)与存储路径(本地/HDFS/S3/OSS)。
-- 示例:创建 filesystem 类型 Paimon Catalog
CREATE CATALOG paimon_catalog WITH (
'type' = 'paimon',
'metastore' = 'filesystem',
'warehouse' = 'file:///tmp/paimon'
);
USE CATALOG paimon_catalog;
- 创建表:
-- 主键表:支持实时流式更新
CREATE TABLE orders (
order_id BIGINT,
user_id BIGINT,
amount DECIMAL(10, 2),
ts TIMESTAMP(3),
PRIMARY KEY (order_id) NOT ENFORCED
);
-- Append 表:无主键,承载追加型数据
CREATE TABLE logs (
log_id BIGINT,
msg STRING,
ts TIMESTAMP(3)
);
- 写入与读取:通过 Flink SQL
INSERT INTO写流式数据;通过批/流查询读取;用/*+ OPTIONS('changelog-producer'='lookup') */等配置优化增量读取。
关键操作速查
- 流式写入主键表:
INSERT INTO orders SELECT ... FROM kafka_source;(配合 Flink CDC 可做实时同步) - 部分更新:配置
merge-engine='partial-update',多个流作业更新不同列。 - 变更日志生成:表属性
'changelog-producer' = 'lookup'(流式消费推荐)。 - 时间旅行:
SELECT * FROM orders /*+ OPTIONS('scan.snapshot-id'='<id>') */; - 增量读取:
INCREMENTAL TABLE查询两个 Tag 间差异。 - Python API:安装
pypaimon后可用 Python 读写(配合 Spark/DLF 生态)。 - 云服务:阿里云实时计算 Flink 版、EMR、StarRocks、Doris 控制台均已内置 Paimon 支持,可直接在控制台创建 Paimon Catalog 免部署。
CASE 基于Python客户端(paimon/paimon-rust)连接Paimon
假定 paimon 是基于 minio/oss + jdbc metastore(mysql) + flink 构建。
安装 python 环境
- 安装 miniforge/conda
- 创建 python 虚拟环境
用 Miniforge 建个独立环境(推荐 3.11),便于让后续paimon习惯的这些重依赖走预编译二进制:
conda create -n paimon-env python=3.11 -y | 注意: 仅指定环境名的方式(会创建到默认 envs 目录下)
或 conda create -p D:\Program-Data\Miniforge-Conda-Data\envs\paimon-env python=3.11
注: 删除环境: conda env remove -p D:\Program-Data\Miniforge-Conda-Data\envs\paimon-env
conda env list
或 conda info --envs
conda activate paimon-env
安装Python依赖包
conda install -c conda-forge pyarrow pandas datafusion -y
# 注: `conda install -c conda-forge` 直接装【预编译二进制】,彻底绕开 pip 的源码编译;pyarrow /pandas/datafusion 在 conda-forge 都有现成包
pip install pypaimon pypaimon-rust
# 注: pypaimon /pypaimon-rust 是 pip 侧包,放 `pip install` 即可
pip list
注: windows上直接
pip install pypaimon pypaimon-rust datafusion pyarrow pandas安装,可能失败。所以借助一下 conda install。pip 之所以可能会【编译源码】,是因为没找到 pyarrow 针对 cp314 的预编译 wheel,于是回退到
源码构建。而源码构建 pyarrow 需要 Visual Studio C++ 工具链 + cmake(command 'cmake' failed说明你机器上这套链不可用);datafusion 更是还要 Rust 工具链。这条路即使补齐工具也极其耗时易碎,不建议硬啃。
基础验证
- 最小验证(先确认能 import): 执行
python或进入 Python IDE 后:
from pypaimon_rust.datafusion import PaimonCatalog
from datafusion import SessionContext
print("OK")
或:
python -c "from pypaimon_rust.datafusion import PaimonCatalog; print('ok')"
- 验证 minio/oss 端口的网络可用性
curl -v http://192.168.xxx.xxx:9000/minio/health/live
挂 catalog 查 OSS 上的表
from pypaimon_rust.datafusion import SQLContext
ctx = SQLContext()
# OSS 模式
ctx.register_catalog("paimon", {
"warehouse": "s3://paimon/warehouse", # 最核心的配置项是 `warehouse`;不写 `metastore` 时默认走本地文件系统
"s3.endpoint": "http://192.168.11.120:9100",
"s3.access-key": "minio",
"s3.secret-key": "xxx",
"s3.path-style-access": "true",
"s3.region": "us-east-1"
})
# REST / 远程元数据模式(如阿里云 DLF)
"""
ctx.register_catalog("paimon", {
"metastore": "rest",
"uri": "http://<DLF-ENDPOINT>", # 远程 metastore REST 端点
"warehouse": "my_catalog", # 远端 catalog 名
"token.provider": "dlf", # 认证方式
"dlf.region": "cn-hangzhou",
"dlf.access-key-id": "...", # 凭证
"dlf.access-key-secret": "...",
"dlf.oss-endpoint": "...", # 公网访问时可选
})
"""
# 文件系统模式(本地 / 自建,最常见)
"""
ctx.register_catalog("paimon", {
"warehouse": "/path/to/warehouse", # Paimon warehouse 根目录(必填)
})
"""
batches = ctx.sql("SHOW TABLES") # 或 SHOW SCHEMAS
print(batches)
解释:pypaimon_rust.datafusion.SQLContext#register_catalog 函数
pypaimon_rust.datafusion.SQLContext#register_catalog函数
ctx.register_catalog(catalog-name, catalog-options)是pypaimon_rust.datafusion.SQLContext用来把【一个 Paimon Catalog 注册到 SQL 会话】的入口catalog-name(str)— 目录在 SQL 中的名字
- 即 三段式命名
catalog.database.table的第一段,例如传"paimon",之后就用paimon.my_db.users访问。- 同一个 SQLContext 可注册多个 catalog(多 catalog 支持)。
catalog-options(dict)— Catalog 连接配置(Catalog Options)
- 一份键值对字典,本质上就是 Paimon 的 Catalog 配置;
- 按 metastore 类型分两种:
- 1.文件系统模式(本地 / 自建,最常见);
- 2.REST / 远程元数据模式(如阿里云 DLF)
解释:连接/会话的 Catalog Name(必读)
- Q: register_catalog 函数的 catalog name 入参,在每次连接时随意填写吗?还是一旦创建后就会持久化存储了?
分两层看,结论很明确:
① Catalog 名(
"paimon")本身——不持久化,是会话级逻辑名
register_catalog把名字绑定到一组配置,这个绑定只活在当前SQLContext对象里,进程结束即失效。- 下次连接(重新
SQLContext())必须重新 register,名字可以随便起——只要本次会话内 SQL 引用一致即可。换个名字访问的还是同一份数据(因为数据由warehouse决定,不由名字决定)。
② 底层数据——持久化,与名字无关
- 真正落地的是
warehouse指向的 database / table 元数据和数据文件,它们写在文件系统(或远端 REST metastore)里,跨会话、跨进程长期存在。 - 因此"同一批数据" = 同一
warehouse(同一远端 catalog),与本次给它起的名字无关。
关键区分(别搞混)
| 层面 | 是否持久化 | 决定因素 |
|---|---|---|
catalog 名("paimon") |
否,会话内 | 每次连接随意,仅 SQL 引用用 |
| database / table 元数据+数据 | 是 | warehouse 路径 / 远端 catalog |
实操建议
- 把 catalog 名当作代码里的约定常量(如统一用
"paimon"),别散落写成随机字符串,否则 SQL 里三段名容易写错。 - 真正的"连接信息"(warehouse、uri、凭证)要集中配置,因为它们决定了连到哪批数据。
- 每次都
register_catalog是正常且必须的——它不是"登录一次记住",而是"本次会话声明我要用哪个 catalog"。
Catalog名字不持久,数据持久。
每次连接都要注册,但注册的是指向同一份持久数据的"快捷方式"。
- Q: 不同连接会话可以使用相同的 catalog name 吗?
可以,而且这是【常态】。
Catalog 名只在各自的会话内有效,两个 SQLContext 之间互不感知,所以:
- 不同会话用同一个名字(如都叫
"paimon")→ 完全没问题,各自内部 SQL 都能正常解析。 - 名字不冲突、不互斥——它既不是全局唯一键,也不会被"占用"后别人不能用。
需要注意的只有一点:名字相同 ≠ 数据相同。真正决定连到哪批数据的是各自的 warehouse/远端 catalog:
| 场景 | 结果 |
|---|---|
同名字 + 同 warehouse |
访问同一份数据(最典型的多会话并行查询场景) |
同名字 + 不同 warehouse |
名字相同,但各自连不同的数据,互不影响 |
结论:catalog name 是会话内的"别名",跨会话可以随意复用;数据归属看 warehouse,不看名字。实际工程里通常就是约定一个统一名字(如 "paimon"),每个会话都这么注册,省心且语义一致。
CASE 基于 Java 读取 Paimon(Metastore:MySQL/Dameng,OSS:MinIO) 的库/表元数据 和表数据
Z FAQ for Apache Paimon
Q: Paimon 是数据库还是一种格式?
A: 它是一种数据湖表格式,不是独立数据库/引擎。
它需要依附 Flink、Spark 等计算引擎使用,通过 Jar 集成,负责组织底层文件与元数据,提供 ACID、更新、时间旅行等能力。
Q: Paimon 和 Iceberg、Hudi、Delta Lake 有什么区别?
A: 最大区别在于设计取向:
Paimon 是"流式优先"(streaming-first),用 LSM-Tree 为高频实时更新/CDC 而生;
Iceberg 是多引擎开放批处理底座;
Hudi 面向 Spark 的强 UPSERT;
Delta 与 Spark/Databricks 深度绑定。
选型见"同类竞品"一节。
Q: Paimon 能替代 Kafka 消息队列吗?
A: 部分场景可以。
Append 表支持有序流式读取,可替代消息队列承载追加型数据;
但底层仍是存储格式,【响应延迟】无法真正媲美 Kafka,不适合对延迟极敏感的场景。
Q: Paimon 查询是实时的吗?
A: 是"分钟级实时"(约 1 分钟数据新鲜度),不是毫秒级。
适合实时湖仓、分钟级准实时分析;
毫秒级点查仍需要 OLAP 数据库(如 StarRocks/Doris)承接。
Q: 为什么 Paimon 更新性能好?写放大如何控制?
A: 核心是 LSM-Tree:写入先落 Level 0 小文件,后台局部合并(merge is local)压缩到更高层,避免全量重写,从而有效减少写放大、提升更新吞吐。
Q: 主键表如何产生完整变更日志?
A: 通过 changelog-producer 配置(none/input/lookup/full-compaction)。
流式消费下游推荐 lookup(基于原值生成完整 changelog),代价与完整性兼顾。
Q: 我已有 Iceberg/Hive 体系,值得迁移到 Paimon 吗?
A:
若你的核心诉求是流式更新、CDC 实时入湖、Flink 流批一体,Paimon 价值大;
若是纯批处理、多引擎开放治理,Iceberg 生态更成熟。
建议按业务负载做 PoC 验证,不必盲目迁移。
Q: Paimon 支持哪些存储和文件格式?
A:
存储支持本地文件系统、HDFS、S3、OSS 等;
数据文件格式支持 ORC(默认)、Parquet、Avro。
Q: 最新的稳定版本是什么?
A:
截至 2026-10,最新 1.x 稳定版为 1.4.2(2026-06);
2.0 已作为 stable 稳定版发布;此外有 paimon-rust、pypaimon、paimon-mosaic 等衍生组件。
Y 推荐文献
- Apache Paimon
- Apache Paimon - Maven Repository
https://mvnrepository.com/artifact/org.apache.paimon/paimon-s3 | https://maven.aliyun.com/mvn/search
https://repo.maven.apache.org/maven2/org/apache/paimon/paimon-s3/
https://repo1.maven.org/maven2/org/apache/paimon/paimon-s3/
JARs: org.apache.paimon:paimon-s3:jar:1.4.2 / ...
- Apache Software Foundation Announces New Top-Level Project Apache® Paimon - Apache Software Foundation
- Data Lake for Stream Computing: The Evolution of Apache Paimon - Alibaba Cloud Community
- Apache Paimon: Streaming Lakehouse is Coming - Alibaba Cloud Community
- Apache Paimon: Real-Time Lake Storage with Iceberg Compatibility 2025 - Alibaba Cloud Community
- Apache Paimon 核心原理和 Flink 应用进阶 - 腾讯云开发者社区
- 官宣|Apache Paimon 1.4 发布公告 - CSDN
- Apache Paimon 多模态数据湖实践 - CSDN
X 参考文献
- apache/paimon - Github(Stars/Forks 等数据来源)
- Apache Paimon™ 官网 - Apache
- Apache Software Foundation Announces New Top-Level Project Apache® Paimon - Apache
- Paimon 流式湖仓架构方案 - 阿里云帮助中心
- Apache Flink & Apache Paimon Integration - Alibaba Cloud
- Apache Fluss(Incubating) vs. Apache Paimon - Alibaba Cloud
- When Paimon Beats Iceberg for Mutable Streams - The Data Lakehouse Hub
- Lakehouse Table Formats in 2026 - Alex Merced's Lakehouse Blog
- Open Table Format Comparison (Iceberg, Delta, Hudi, Paimon) - blog.datalakehouse.help
- Apache Paimon 1.4 发布公告(含版本/commit 数据) - CSDN
- Apache Paimon 社区发展 / 贡献者数据 - SegmentFault
本文链接: https://www.cnblogs.com/johnnyzen
关于博文:评论和私信会在第一时间回复,或直接私信我。
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!
日常交流:大数据与软件开发-QQ交流群: 774386015 【入群二维码】参见左下角。您的支持、鼓励是博主技术写作的重要动力!

浙公网安备 33010602011771号