[数据湖/湖仓一体] Apache Paimon :流批一体的实时湖仓数据湖格式

0 序

定位:Apache Paimon 是一种将数据湖格式(Lake Format)与 LSM-Tree 日志结构合并树相结合的流式数据湖存储格式,用 Flink 与 Spark 构建"流批统一"的实时湖仓(Realtime Lakehouse)架构,天生为流式更新与变更数据(CDC)设计,并于 2026 年全面转向"统一湖格式 + 多模态 AI"方向。

调研对象:apache/paimon**

GitHub: https://github.com/apache/paimon ;

官网: https://paimon.apache.org
调研时间:2026-10-10

调研方式: 人工 + AI


  • Apache Paimon 是一种将数据湖格式与 LSM-Tree 结合的流式数据湖格式,用 Flink/Spark 构建流批一体的实时湖仓架构,天生为实时更新与 CDC 设计。

Paimon 正从 "Flink 的实时数据湖格式" 演进为 "面向流式、多模态与 AI 的统一湖格式",是数据湖实时化赛道最具上升势头的项目之一。

维度 关键信息
定位 流式优先(streaming-first)的实时湖格式,非独立引擎,以 Jar 集成
出身 Flink Table Store → 2023-03 进入 Apache 孵化 → 2024-04 毕业成为顶级项目
最新版本 1.4.2(2026-06 稳定),2.0 已成 stable;1.4 单版本含 1108 commits
社区 GitHub 3,416 stars / 1,412 forks,Java、Apache-2.0,最近推送 2026-10-10(活跃)
核心优势 流批统一、天然实时 UPSERT、LSM 低写放大、低存储成本、与 Flink 深度集成
主要短板 年轻、部分引擎支持有限(StarRocks/Doris 为 Limited)、查询为分钟级非毫秒级
竞争格局 Iceberg(多引擎开放底座)、Hudi(Spark 强 UPSERT)、Delta(Databricks)、Fluss(更底层)
2026 新方向 转向 "统一湖格式":流式湖 + Lumina 向量索引 + 多模态 / AI 一体化

1 概述

产品介绍

  • 产品定位:Apache Paimon 是一个开源的数据湖表格式(Open Table Format),核心解决"如何在数据湖上实现实时(流式)更新与流批统一"的问题。
    • 它不是独立部署的数据库或引擎,而是依附于计算引擎(Flink、Spark 等)的存储格式层,通过 Jar 包集成方式工作。
  • 诞生的背景与原因:
    • 传统数据湖(基于 Hive/Iceberg)为批处理设计,无法高效支持高频实时更新(UPSERT)、变更日志(changelog)读取与流式消费;
    • 流式计算引擎(Flink)虽擅长实时处理,但缺乏一套为流式场景设计的底层存储;
    • 现有 Upsertable 湖方案(Hudi、Delta)要么与 Spark 深度绑定、要么架构面向批处理、要么作为 Flink Sink 需要大量重构,难以"开箱即用"地支撑实时湖仓。
  • 解决的核心问题:将数据湖的低成本、大容量、开放存储,与数据库/OLAP 才具备的实时更新、主键 UPSERT、ACID 事务、时间旅行、增量读取能力合二为一。
  • URLs:
  • 基本信息:
    • 主要编程语言 Java;
    • License Apache-2.0;
    • 仓库创建于 2022-01-12;最近一次代码推送 2026-10-10。

发展历程

时间 里程碑
2020 Flink Forward Asia 大会上首次提出构建新型数据存储的想法
2021-05 以 Flink Table Store(FTS) 名义发布 v0.1(初步 demo,尚不可用)
2021-09 FTS v0.2 发布,部分社区成员开始投入生产
2021 Flink 社区发起 FLIP-188(内置动态表存储),推动 FTS 立项
2022-01-12 GitHub 仓库 apache/flink-table-store 建立
2023-01 FTS v0.3 发布,流式湖仓方案初步成型,可推荐生产使用
2023-03-12 通过投票进入 Apache 孵化器,正式更名为 Apache Paimon
2023-12 v0.6 发布,主键表与 Append 表均达到"完全生产可用"状态
2024-03/04 从孵化器毕业,成为 Apache 顶级项目(TLP);与 Flink、Spark、Presto、StarRocks 等引擎完成集成
2024 发布 v1.0、v1.2,生产就绪性得到大规模验证
2025-2026 发布 v1.3、v1.4(2026-04-27,共 1108 个 commit,历史上改动最大),定位转向"统一湖格式";最新 1.x 为 1.4.2(2026-06)
2026 2.0 版本已作为 stable 稳定版发布;衍生出 paimon-rust、pypaimon、paimon-mosaic 等生态

关键转折点:2024 年毕业成为顶级项目,标志着 Paimon 不再是 Flink 的子项目,而是一个面向全社区、全计算引擎的独立数据湖项目。

主要功能

  • 实时更新(主键表):支持主键(Primary-Key)表对海量数据进行实时流式更新,最新数据分钟级(约 1 分钟)内可查。
  • 变更日志生成(Changelog Producer):可对任意输入流生成正确且完整的增量变更数据(每条 update_after 都有对应 update_before),支持 none / input / lookup / full-compaction 等模式,简化下游流分析。
  • Append-only 表:无主键表支持大规模批流处理,提供有序流式读取,可替代消息队列承载追加型数据(如日志同步)。
  • 灵活的多表类型与更新模式:去重(保留最后一行)、部分更新(partial-update)、聚合记录(aggregation)、首行更新(first-row)等。
  • ACID 事务:通过两阶段提交(two-phase commit)与快照隔离实现读己之写(read-your-writes)一致性。
  • 时间旅行(Time Travel):每次写入产生不可变快照,支持任意历史快照查询。
  • Schema 演化(Schema Evolution):支持增删列等完整演进能力。
  • CDC 全链路同步:支持 Flink CDC、Kafka CDC,不仅能同步数据变更,还能同步 Schema 变更与整个数据库(库表级同步),大幅降低运维成本。
  • 多引擎生态:Flink、Spark、Presto/Trino、StarRocks、Doris 等均可读写。
  • 多模态 / AI 能力(v1.4+):引入列分离存储架构 + 全局唯一连续 Row ID,支持结构化数据与非结构化大对象(AIGC)一体化;提供 Lumina 向量索引(配合 BTree 全局索引、Tantivy 全文检索、Vortex 格式支持),支持湖内向量检索。

核心优势

  1. 流批统一:同一张表同时支撑 Flink 流式处理与 Spark 批处理,一套表两用。
  2. 天然的实时更新能力:基于 Data Lake + LSM 架构,具备强 UPSERT 能力,是四大主流湖格式中唯一"流式优先(streaming-first)"的设计。
  3. 低写放大:LSM 局部合并(merge is local)有效减少写放大,压缩效率高。
  4. 低存储成本:LSM 结构让数据在快照/Tag 间复用,在增量小的场景下存储成本可降低数百倍。
  5. 高数据新鲜度:更新延迟从"小时级"降到"分钟级",接近实时。
  6. 与 Flink 深度集成、开箱即用:作为 Flink 生态原生成员,集成成本低,运维简单(对 Flink 用户"最小运维复杂度")。
  7. 强大的 CDC 与库表同步:自动同步数据、Schema、数据库,降低维护与资源消耗。

主要短板

  1. 年轻、生态成熟度相对较低:相比 Iceberg(2017)、Hudi(2017)、Delta(2017)起步晚,多引擎生态完善度仍有差距。
  2. 部分引擎支持有限:例如 StarRocks/Doris 对 Paimon 的读写支持标注为 Limited(有限),尚未达到 Iceberg 的"全支持"水平。
  3. 流式/实时是强项,但非流式批处理场景无额外优势:对纯批处理、低频更新的负载,Paimon 的 LSM 复杂度反而是"不必要的负担"。
  4. 实时查询是【分钟级】而非毫秒级:提供的是分钟级数据新鲜度,与 OLAP 数据库(毫秒级)不是同一赛道,不能直接替代 【OLAP】。

局限性

  • 查询延迟上限:最新数据查询最快为分钟级(约 1 分钟),无法满足毫秒级点查/即席交互场景。
  • 引擎绑定惯性:设计上以 Flink 为中心,虽然支持多引擎,但"流式场景"的深度集成仍以 Flink 为最优;其他引擎若要支持流式新特性需要额外适配。
  • 复杂度:LSM、压缩策略、changelog-producer、分区策略等参数众多,对初学者有学习曲线,运维调优需要专业经验。
  • 不替代日志/消息队列:虽然 Append 表可替代消息队列做有序读取,但其底层仍是面向存储的湖格式,响应延迟上无法真正替代 Kafka 等日志系统。
  • AI/向量能力尚处早期:多模态与向量检索(Lumina、Vortex)为 v1.4+ 新方向,处于快速演进中,生产稳定性有待市场进一步验证。

适用场景

  • 实时湖仓(Real-time Lakehouse):构建基于 Flink + Paimon 的流批一体实时数仓。
  • CDC 实时入湖:数据库变更数据(Flink CDC)实时写入数据湖,实现业务库的镜像表。
  • 实时宽表 / 特征平台:多个流作业并发部分更新同一张表的不同列,构建实时宽表供下游查询。
  • 流式 ETL 与物化视图:结合 Flink Materialized Table,用 Flink SQL 声明式地自动启停流/批作业。
  • 流式日志 / 追加型数据湖:无主键 Append 表承载日志、埋点等有序追加数据。
  • 多模态数据湖 + AI(2026 新方向):实时入湖 + 湖内向量检索 + AIGC 大对象一体化。

同类竞品

格式 主导/发起 核心定位 流式更新能力
Apache Paimon 阿里云(Flink 社区) 流式优先的实时湖格式(LSM+Lake) 最强,天生为流式 UPSERT 设计
Apache Iceberg Netflix / Apple / Tabular 可靠的大规模表管理、多引擎开放底座 较弱,默认 COW,delete files 实现 MOR
Apache Hudi Uber 强 UPSERT / 增量处理(COW & MOR) 较强,但架构面向 Spark 批处理
Delta Lake Databricks 与 Spark 深度绑定的湖格式 一般,Spark/Databricks 生态最佳
Apache Fluss(孵化中) 阿里云 更底层、更实时的流存储底座 极强,但更偏底层存储

技术选型速记:

  • 实时入湖 + 湖内向量检索 + AIGC 一体化 → Paimon
  • 已建 Hudi 体系、强 UPSERT/CDC 且需扩展多模态 → Hudi
  • 多引擎/跨云开放底座、强治理与合规、半结构化为主 → Iceberg
  • 极致多模态训练随机读取性能 → 其他(如 DuckLake / 专用方案)

发展趋势

  • 开源社区活跃度:仓库 2022 年创建至今,GitHub Stars 3,416、Forks 1,412、Watch 70;最近代码推送为 2026-10-10,保持高频迭代;核心贡献者以国内为主(12 名 PMC、近 10 名 Committer、200+ 贡献者,累计 3000+ PR)。
  • 版本迭代节奏:0.x → 1.0 → 1.2 → 1.3 → 1.4 → 2.0,1.4 单版本即含 1108 个 commit,是史上改动最大版本,迭代速度极快。
  • 多语言生态扩张:衍生出 paimon-rust(0.1/0.2)、pypaimon(Python API)、paimon-mosaic(宽表列式混合格式) 等。
  • 战略方向迁移:从"流式湖格式"升级为"统一湖格式(Unified Lake Format)",以流式湖 + 向量索引(Lumina)+ 多模态数据演进三大支柱推进数据湖与 AI 的融合。
  • 总结:Paimon 正从"Flink 的实时数据湖格式"演进为"面向流式、多模态与 AI 的统一湖格式",社区活跃、迭代迅猛,是数据湖实时化赛道最具上升势头的项目之一。

2 工作原理与架构

概念术语

术语 说明
Lake Format(湖格式) 定义数据如何以文件形式组织、元数据如何管理(快照、清单、分区)的开放标准
LSM-Tree(日志结构合并树) 一种面向高频写/更新的存储结构(RocksDB、KV 库常用),写入先落 Level 0,后台压缩合并到更高层
主键表 / Append 表 Paimon 的两种表类型:主键表支持流式增删改;Append 表(无主键)承载插入型数据
Snapshot(快照) 每次写入产生的一个不可变数据版本,是时间旅行、ACID、增量读取的基础
Manifest / 清单文件 描述数据文件位置与元数据的索引文件
Sorted Run(排序运行) LSM 中一层内的有序文件集合
Changelog(变更日志) 记录 INSERT/UPDATE/DELETE 的增量数据流
Changelog Producer 控制 Paimon 如何为下游生成完整 changelog 的机制(none/input/lookup/full-compaction)
Partial-update(部分更新) 多个流作业并发更新同一主键表的不同列
Merge Engine(合并引擎) 决定主键相同行"最新值"如何确定的策略(去重/聚合/首行等)
Compaction(压缩) 后台将多个小文件/低层 LSM 数据合并为大文件的优化过程

架构与运行原理

总体架构

flowchart LR subgraph 写入端 A[Flink CDC] --> W[Flink Sink] B[Kafka CDC] --> W C[流/批作业] --> W end W -->|按主键排序/分桶| D[(数据文件<br/>ORC/Parquet/Avro)] W -->|生成| E[(Manifest<br/>清单文件)] W -->|每次提交| F[(Snapshot<br/>快照)] D & E --> F F -->|时间旅行/ACID/增量| G{读取端} G --> H[Flink 流式读] G --> I[Spark 批读] G --> J[Presto/Trino] G --> K[StarRocks/Doris] subgraph 后台 W -->|异步| L[Compaction 压缩<br/>LSM 层间合并] L --> D end

核心存储结构:Data Lake + LSM-Tree

Paimon 最关键的架构创新,是把数据湖的文件管理与LSM-Tree 结合:

  • 写入路径:写入发生在 Flink Sink 中。当检查点(checkpoint)到达时,对内存中的数据进行排序,并将记录刷新到 Level 0 的数据文件中。
  • 主键定位:主键表通过分桶(bucket)把同一主键的数据路由到固定的数据文件组,避免全表扫描定位。
  • 压缩(Compaction):默认在 Flink Sink 内异步执行,也可启动独立压缩作业。由于 LSM 设计,合并是局部的,可有效减少写放大(write amplification)。
  • 清理:写入作业默认清理过期快照,减少分布式文件系统上的文件数量,并支持配置分区清理策略。
  • 层级组织:数据按 LSM 层级(Level)组织,低层是小文件、高层是压缩后的大文件;查询时跨层合并读取,天然支持 Data Skipping(数据跳过)。

快照与元数据

  • 每个快照是一个 JSON 文件,包含该快照引用的数据文件、Manifest 文件、变更日志等信息。
  • 支持 增量读取(incremental):通过 INCREMENTAL 命令可查询两个 Tag 之间的差异。
  • 支持 CREATE TAG 创建物化视图/批读表:Tag 是对快照的引用,借助 LSM 复用,创建批读表耗时从小时级降到分钟级。

变更日志(Changelog)生成机制

  • 主键表若要支撑下游流式消费,必须生成完整 changelog。
  • Changelog Producer 模式:
    • none(默认):不生成完整 changelog,适合批读/下推;
    • input:基于输入流推断,开销低但不保证完整;
    • lookup:基于原值查询生成完整 changelog,是流式管线的推荐选择;
    • full-compaction:基于全量压缩生成,最完整但可能重写全部数据、代价高。
  • 消费者 ID(consumer-id):类似 Kafka 的 group-id,读取时记录快照 ID,支持作业停止后从断点续读、按消费者保留未过期快照、自动传递 watermark。

列分离架构与全局 Row ID(v1.4+,面向多模态)

  • 引入列分离存储架构:核心是全局唯一且连续的 Row ID。
  • 每行数据首次写入时被分配一个在整个表生命周期内不变的 ID,且每个数据文件内 Row ID 连续,元数据记录该文件的 ID 区间。
  • 该设计支撑结构化列 + 大对象(非结构化数据) 的一体化存储与演进,是 Paimon 多模态/AI 能力(Lumina 向量索引、Vortex 格式)的地基。

Paimon 的仓库目录结构(必读)

Paimon 的仓库目录结构约定如下:

paimon/warehouse/          ← warehouse 根路径
├── default.db/            ← database: default
│   └── <table_name>/      ← 库下的表
│       ├── schema/
│       ├── snapshot/
│       └── bucket-x/
├── ds_001.db/             ← database: ds_001
└── PAIMON_DB.db/          ← database: PAIMON_DB

判定规则:在 warehouse 根目录下,凡是以 .db 结尾的一级子目录,Paimon 都将其识别为一个 database;进入该目录后,里面的每一级子目录才是 table。

image

3 使用指南

Paimon 不是独立服务,而是以 Jar 包形式集成到 Flink/Spark 等引擎中。以下为通用部署与关键操作。

安装部署

环境要求

  • Java 8/11(随 Flink/Spark 环境);
  • 一个计算引擎:Apache Flink(推荐)或 Spark、Presto/Trino 等;
  • 一个存储后端:本地文件系统、HDFS、S3、OSS 等对象存储;
  • 可选的元数据服务:Hive Metastore、JDBC、DLF(阿里云 Data Lake Formation)。
  1. 下载 Paimon Jar:从 GitHub Releases / Maven Central 获取与你的 Flink 版本匹配的包,例如 paimon-flink-<flink版本>-<paimon版本>.jar。
  2. 放入 Flink lib 目录:将 Jar 复制到 Flink 的 lib/ 目录下,重启 Flink 或使用 ADD JAR 动态加载。
  3. 配置 Catalog:在 Flink SQL 中创建 Paimon Catalog,指定 metastore(filesystem/hive/jdbc/dl 等)与存储路径(本地/HDFS/S3/OSS)。
-- 示例:创建 filesystem 类型 Paimon Catalog
CREATE CATALOG paimon_catalog WITH (
    'type' = 'paimon',
    'metastore' = 'filesystem',
    'warehouse' = 'file:///tmp/paimon'
);
USE CATALOG paimon_catalog;
  1. 创建表:
-- 主键表:支持实时流式更新
CREATE TABLE orders (
    order_id BIGINT,
    user_id BIGINT,
    amount DECIMAL(10, 2),
    ts TIMESTAMP(3),
    PRIMARY KEY (order_id) NOT ENFORCED
);

-- Append 表:无主键,承载追加型数据
CREATE TABLE logs (
    log_id BIGINT,
    msg STRING,
    ts TIMESTAMP(3)
);
  1. 写入与读取:通过 Flink SQL INSERT INTO 写流式数据;通过批/流查询读取;用 /*+ OPTIONS('changelog-producer'='lookup') */ 等配置优化增量读取。

关键操作速查

  • 流式写入主键表:INSERT INTO orders SELECT ... FROM kafka_source;(配合 Flink CDC 可做实时同步)
  • 部分更新:配置 merge-engine='partial-update',多个流作业更新不同列。
  • 变更日志生成:表属性 'changelog-producer' = 'lookup'(流式消费推荐)。
  • 时间旅行:SELECT * FROM orders /*+ OPTIONS('scan.snapshot-id'='<id>') */;
  • 增量读取:INCREMENTAL TABLE 查询两个 Tag 间差异。
  • Python API:安装 pypaimon 后可用 Python 读写(配合 Spark/DLF 生态)。
  • 云服务:阿里云实时计算 Flink 版、EMR、StarRocks、Doris 控制台均已内置 Paimon 支持,可直接在控制台创建 Paimon Catalog 免部署。

CASE 基于Python客户端(paimon/paimon-rust)连接Paimon

假定 paimon 是基于 minio/oss + jdbc metastore(mysql) + flink 构建。

安装 python 环境

  • 安装 miniforge/conda
  • 创建 python 虚拟环境

用 Miniforge 建个独立环境(推荐 3.11),便于让后续paimon习惯的这些重依赖走预编译二进制:

conda create -n paimon-env python=3.11 -y  | 注意: 仅指定环境名的方式(会创建到默认 envs 目录下)
  或 conda create -p D:\Program-Data\Miniforge-Conda-Data\envs\paimon-env python=3.11
  注: 删除环境: conda env remove -p D:\Program-Data\Miniforge-Conda-Data\envs\paimon-env

conda env list
  或 conda info --envs

conda activate paimon-env

安装Python依赖包

conda install -c conda-forge pyarrow pandas datafusion -y
  # 注: `conda install -c conda-forge` 直接装【预编译二进制】,彻底绕开 pip 的源码编译;pyarrow /pandas/datafusion 在 conda-forge 都有现成包
pip install pypaimon pypaimon-rust
  # 注: pypaimon /pypaimon-rust 是 pip 侧包,放 `pip install` 即可

pip list

注: windows上直接pip install pypaimon pypaimon-rust datafusion pyarrow pandas安装,可能失败。所以借助一下 conda install。

pip 之所以可能会【编译源码】,是因为没找到 pyarrow 针对 cp314 的预编译 wheel,于是回退到 源码构建。而源码构建 pyarrow 需要 Visual Studio C++ 工具链 + cmake(command 'cmake' failed 说明你机器上这套链不可用);datafusion 更是还要 Rust 工具链。这条路即使补齐工具也极其耗时易碎,不建议硬啃。

基础验证

  • 最小验证(先确认能 import): 执行python或进入 Python IDE 后:
from pypaimon_rust.datafusion import PaimonCatalog
from datafusion import SessionContext
print("OK")

或: python -c "from pypaimon_rust.datafusion import PaimonCatalog; print('ok')"

  • 验证 minio/oss 端口的网络可用性
curl -v http://192.168.xxx.xxx:9000/minio/health/live

挂 catalog 查 OSS 上的表

from pypaimon_rust.datafusion import SQLContext
ctx = SQLContext()

# OSS 模式
ctx.register_catalog("paimon", {
    "warehouse": "s3://paimon/warehouse", # 最核心的配置项是 `warehouse`;不写 `metastore` 时默认走本地文件系统
    "s3.endpoint": "http://192.168.11.120:9100",
    "s3.access-key": "minio",            
    "s3.secret-key": "xxx",              
    "s3.path-style-access": "true",
    "s3.region": "us-east-1"
})


# REST / 远程元数据模式(如阿里云 DLF)
"""
ctx.register_catalog("paimon", {
    "metastore": "rest",
    "uri": "http://<DLF-ENDPOINT>",       # 远程 metastore REST 端点
    "warehouse": "my_catalog",            # 远端 catalog 名
    "token.provider": "dlf",              # 认证方式
    "dlf.region": "cn-hangzhou",
    "dlf.access-key-id": "...",           # 凭证
    "dlf.access-key-secret": "...",
    "dlf.oss-endpoint": "...",            # 公网访问时可选
})
"""


# 文件系统模式(本地 / 自建,最常见)
"""
ctx.register_catalog("paimon", {
    "warehouse": "/path/to/warehouse",   # Paimon warehouse 根目录(必填)
})
"""

batches = ctx.sql("SHOW TABLES")   # 或 SHOW SCHEMAS
print(batches)

解释:pypaimon_rust.datafusion.SQLContext#register_catalog 函数

  • pypaimon_rust.datafusion.SQLContext#register_catalog 函数
  • ctx.register_catalog(catalog-name, catalog-options) 是 pypaimon_rust.datafusion.SQLContext 用来把【一个 Paimon Catalog 注册到 SQL 会话】的入口
  • catalog-name(str)— 目录在 SQL 中的名字
    • 即 三段式命名 catalog.database.table 的第一段,例如传 "paimon",之后就用 paimon.my_db.users 访问。
    • 同一个 SQLContext 可注册多个 catalog(多 catalog 支持)。
  • catalog-options(dict)— Catalog 连接配置(Catalog Options)
    • 一份键值对字典,本质上就是 Paimon 的 Catalog 配置;
    • 按 metastore 类型分两种:
      • 1.文件系统模式(本地 / 自建,最常见);
      • 2.REST / 远程元数据模式(如阿里云 DLF)

解释:连接/会话的 Catalog Name(必读)

  • Q: register_catalog 函数的 catalog name 入参,在每次连接时随意填写吗?还是一旦创建后就会持久化存储了?

分两层看,结论很明确:

① Catalog 名("paimon")本身——不持久化,是会话级逻辑名

  • register_catalog 把名字绑定到一组配置,这个绑定只活在当前 SQLContext 对象里,进程结束即失效。
  • 下次连接(重新 SQLContext())必须重新 register,名字可以随便起——只要本次会话内 SQL 引用一致即可。换个名字访问的还是同一份数据(因为数据由 warehouse 决定,不由名字决定)。

② 底层数据——持久化,与名字无关

  • 真正落地的是 warehouse 指向的 database / table 元数据和数据文件,它们写在文件系统(或远端 REST metastore)里,跨会话、跨进程长期存在。
  • 因此"同一批数据" = 同一 warehouse(同一远端 catalog),与本次给它起的名字无关。

关键区分(别搞混)

层面 是否持久化 决定因素
catalog 名("paimon") 否,会话内 每次连接随意,仅 SQL 引用用
database / table 元数据+数据 是 warehouse 路径 / 远端 catalog

实操建议

  • 把 catalog 名当作代码里的约定常量(如统一用 "paimon"),别散落写成随机字符串,否则 SQL 里三段名容易写错。
  • 真正的"连接信息"(warehouse、uri、凭证)要集中配置,因为它们决定了连到哪批数据。
  • 每次都 register_catalog 是正常且必须的——它不是"登录一次记住",而是"本次会话声明我要用哪个 catalog"。

Catalog名字不持久,数据持久。

每次连接都要注册,但注册的是指向同一份持久数据的"快捷方式"。

  • Q: 不同连接会话可以使用相同的 catalog name 吗?

可以,而且这是【常态】。

Catalog 名只在各自的会话内有效,两个 SQLContext 之间互不感知,所以:

  • 不同会话用同一个名字(如都叫 "paimon")→ 完全没问题,各自内部 SQL 都能正常解析。
  • 名字不冲突、不互斥——它既不是全局唯一键,也不会被"占用"后别人不能用。

需要注意的只有一点:名字相同 ≠ 数据相同。真正决定连到哪批数据的是各自的 warehouse/远端 catalog:

场景 结果
同名字 + 同 warehouse 访问同一份数据(最典型的多会话并行查询场景)
同名字 + 不同 warehouse 名字相同,但各自连不同的数据,互不影响

结论:catalog name 是会话内的"别名",跨会话可以随意复用;数据归属看 warehouse,不看名字。实际工程里通常就是约定一个统一名字(如 "paimon"),每个会话都这么注册,省心且语义一致。

CASE 基于 Java 读取 Paimon(Metastore:MySQL/Dameng,OSS:MinIO) 的库/表元数据 和表数据

Z FAQ for Apache Paimon

Q: Paimon 是数据库还是一种格式?

A: 它是一种数据湖表格式,不是独立数据库/引擎。

它需要依附 Flink、Spark 等计算引擎使用,通过 Jar 集成,负责组织底层文件与元数据,提供 ACID、更新、时间旅行等能力。

Q: Paimon 和 Iceberg、Hudi、Delta Lake 有什么区别?

A: 最大区别在于设计取向:

Paimon 是"流式优先"(streaming-first),用 LSM-Tree 为高频实时更新/CDC 而生;

Iceberg 是多引擎开放批处理底座;

Hudi 面向 Spark 的强 UPSERT;

Delta 与 Spark/Databricks 深度绑定。

选型见"同类竞品"一节。

Q: Paimon 能替代 Kafka 消息队列吗?

A: 部分场景可以。

Append 表支持有序流式读取,可替代消息队列承载追加型数据;

但底层仍是存储格式,【响应延迟】无法真正媲美 Kafka,不适合对延迟极敏感的场景。

Q: Paimon 查询是实时的吗?

A: 是"分钟级实时"(约 1 分钟数据新鲜度),不是毫秒级。

适合实时湖仓、分钟级准实时分析;

毫秒级点查仍需要 OLAP 数据库(如 StarRocks/Doris)承接。

Q: 为什么 Paimon 更新性能好?写放大如何控制?

A: 核心是 LSM-Tree:写入先落 Level 0 小文件,后台局部合并(merge is local)压缩到更高层,避免全量重写,从而有效减少写放大、提升更新吞吐。

Q: 主键表如何产生完整变更日志?

A: 通过 changelog-producer 配置(none/input/lookup/full-compaction)。

流式消费下游推荐 lookup(基于原值生成完整 changelog),代价与完整性兼顾。

Q: 我已有 Iceberg/Hive 体系,值得迁移到 Paimon 吗?

A:

若你的核心诉求是流式更新、CDC 实时入湖、Flink 流批一体,Paimon 价值大;

若是纯批处理、多引擎开放治理,Iceberg 生态更成熟。

建议按业务负载做 PoC 验证,不必盲目迁移。

Q: Paimon 支持哪些存储和文件格式?

A:

存储支持本地文件系统、HDFS、S3、OSS 等;

数据文件格式支持 ORC(默认)、Parquet、Avro。

Q: 最新的稳定版本是什么?

A:

截至 2026-10,最新 1.x 稳定版为 1.4.2(2026-06);

2.0 已作为 stable 稳定版发布;此外有 paimon-rust、pypaimon、paimon-mosaic 等衍生组件。


Y 推荐文献

  • Apache Paimon
  • Apache Paimon - Maven Repository

https://mvnrepository.com/artifact/org.apache.paimon/paimon-s3 | https://maven.aliyun.com/mvn/search
https://repo.maven.apache.org/maven2/org/apache/paimon/paimon-s3/
https://repo1.maven.org/maven2/org/apache/paimon/paimon-s3/
JARs: org.apache.paimon:paimon-s3:jar:1.4.2 / ...



X 参考文献

posted @ 2026-10-10 14:01  千千寰宇  阅读(63)  评论(0)    收藏  举报