[OLAP/数据库/HDFS] Apache Kylin(5):用空间换时间,以预计算换亚秒延迟的 PB 级 OLAP 引擎 | 基于“Hive 之上的加速层” + 额外支持 Kafka 流式数据源

0 序

  • 调研对象:Apache Kylin

  • 调研基准版本:Kylin 5.0.5(2026-07-13 发布)

  • 调研时间:2026-11-07

  • 资料来源:Apache Kylin 官方文档(5.0.5)、ASF 董事会 Kylin 季度报告、Kylin 官方博客/Roadmap、GitHub 仓库元数据


1 概述

产品介绍

  • 产品定位:Apache Kylin 是面向大数据平台的开源分布式分析型数据仓库 / OLAP 引擎,以"预计算(Pre-computation)+ 多维模型"为核心手段,在 PB 级数据集上提供标准 SQL 接口、亚秒级查询延迟与高并发能力,并通过 JDBC/REST/BI 工具对外服务。
  • 诞生的背景与原因:
    • Kylin 由 eBay 于 2014 年创建并开源,2015 年成为 Apache 顶级项目(TLP)。
    • 早期 Hadoop 生态的交互式分析主要依赖 Hive/MapReduce,报表查询动辄数分钟到数小时,无法支撑电商场景下的高并发看板与多维钻取。
    • 其思路是用空间换时间:把"【维度组合 + 度量】"的聚合结果在离线阶段预先物化为 Cuboid(预计算索引),查询时直接命中索引文件,从而把查询复杂度与数据总量"解耦"。
  • 解决的核心问题:
    1. 海量数据(十亿~万亿行)上的交互式多维分析延迟问题;
    2. 高并发报表/看板场景下的查询稳定性与资源可控问题;
    3. Hadoop 数据与 BI 工具(Tableau、Power BI、Excel、Superset 等)之间的标准 SQL 接入问题。
  • URLs:

基本信息

项目 内容
项目全称 Apache Kylin(TLP,2015-11-18 成立)
技术定位 预计算型 MOLAP / 分析型数据仓库(Hadoop/Spark 之上)
主要语言 Java(查询/元数据/服务端)+ Spark(构建与执行)
开源许可 Apache License 2.0
默认开发分支 kylin5
最新版本 v5.0.5(2026-07-13)
GitHub 规模
(2026-11 抓取)
Stars 3,784;Forks 1,503;Watchers 254;最近推送 2026-10-19
社区成员
(2026-08 董事会报告)
52 名 committer、23 名 PMC
ASF 项目状态 Ongoing(2026-08 报告:无董事会关注问题)

发展历程

时间 版本/事件 关键意义
2013 eBay 内部孵化 为解决电商海量数据的交互式分析而生
2014 对外开源 成为 Hadoop 生态中"预计算 OLAP"的代表实现
2015-11-18 成为 Apache 顶级项目 进入 ASF 治理体系,社区化运营
至 2020-05-19 1.x / 2.x 系列(末位版本 2.6.6) 完善 Cube 构建、HBase 存储、Cube Planner、流式构建(Kafka)等能力
至 2022-01-05 3.x 系列(末位版本 3.1.3) 引入实时/流批一体(Lambda)、查询下推、细粒度 ACL
2020-07 4.0.0-alpha 架构重构:HBase → Parquet,Spark 统一构建与查询引擎
2021-08 4.0.0 GA 存储计算解耦、云上部署友好、去掉 HBase 依赖
2022-12-23 4.0.3 4.x 稳定版主线
2023-04-26 / 2023-08-30 5.0.0-alpha / beta 元数据重构、Index/Layout 抽象、可计算列等
2024-01-28 4.0.4 4.x 末位维护版本
2024-09-27 5.0.0 GA 内表、模型/索引推荐、Gluten 原生引擎、Kafka 流式源
2025-03-31 5.0.2 内表网站化、内表缓存预加载、安全缺陷集中修复
2025-09-19 5.0.3 内表 DML 解析、逻辑视图修复、macOS 本地启动修复
2026-07-13 5.0.5(最新) 内表稳定性、SQL 语义修复、权限校验加固
2026 年内 5.1 规划 / MCP 原型 向 AI 工具链(MCP)、指标语义方向探索

演进主线可以概括为三次跃迁:

  1. HBase 时代(1.x–3.x):预计算 + HBase Coprocessor 聚合,性能强但依赖重、云上不友好、维度上限 63。
  2. Parquet + Spark 时代(4.x):存储改为 Parquet(HDFS/S3/OSS 均可),构建与查询统一用 Spark,去掉 HBase,实现存储计算解耦。
  3. 多引擎 + 内表 + 智能化(5.x):元数据从 KV 重构为结构化 RDBMS,抽象 Index/Layout,引入内表与 Gluten-ClickHouse 原生引擎,增加模型/索引推荐与流批融合模型。

主要功能(必读)

能力域 具体能力 说明
数据接入 Hive 表、JDBC 数据源、CSV、Kafka 流、逻辑视图(Logical View) 以 Hive 为主路径;Kylin 5 支持 JDBC 源与逻辑视图
建模 星型/雪花模型、画布式建模、计算列(Computed Column)、SCD2 拉链表、Runtime Join、多级分区 模型 = 模型设计 + 索引设计 + 数据加载三部分
索引 聚合索引(Aggregate Index / Cube)、明细索引(Table Index)、Layout(Shard Key / Sort Key)、Index Plan Kylin 5 支持按索引粒度增删与刷新,不再受 63 维限制
智能建模 基于 SQL 文本建模、基于查询历史的索引推荐与索引优化 降低建模门槛,自动剔除冗余索引
构建与运维 Segment 增量构建/刷新/合并(手工 + 自动分层合并)、作业监控、告警、诊断包、垃圾清理 自动合并按 时/日/周/月/季/年 六级阈值
查询 标准 SQL、Insight 查询页、异步查询、查询缓存、查询下推(Spark SQL) 未命中模型时默认走下推引擎
内表与原生引擎 Internal Table(Kylin 自管数据)、Gluten-ClickHouse 后端、ClickHouse 分层存储(可选) 面向湖仓/即席分析与明细查询
流批融合 Kafka 流式源、Fusion Model 把分析延迟压到秒~分钟级,并与批量数据融合分析
接口与集成 REST API(OpenAPI)、JDBC 驱动、BI 工具对接、用户委派(Execute As User) JDBC URL:jdbc:kylin://host:7070/project
安全与多租户 项目隔离、项目/列级 ACL、用户组、Ranger 集成、LDAP/SSO(历史版本) 企业级权限体系
高可用部署 单机、集群、读写分离(Query Node / Job 分离) 5.x 进一步拆分 query/job/meta 服务

核心优势(必读)

  1. 预计算带来的"确定性"低延迟:命中 Cuboid 后无需扫描全量数据,延迟与数据量基本解耦,适合 PB 级历史数据的稳定亚秒响应。
  2. 高并发下的资源可控:查询主要是索引文件扫描 + 轻量聚合,比"每次全表扫描"的 MPP 引擎更容易在固定资源下支撑高 QPS。
  3. 与 Hadoop/数仓体系天然贴合:直接消费 Hive 表,复用 HDFS/YARN/ZooKeeper,无需把数据再搬一份到独立的 MPP 存储。
  4. 存储格式开放:Kylin 4 起以 Parquet 落盘,可直接被 Spark/Hive/Impala 读取,也便于向对象存储(S3/OSS)扩展。
  5. Kylin 5 明显降低了使用门槛:模型与 Cube 合并为 Model、引入 Index/Layout 抽象、支持 SQL 导入建模与索引推荐,缓解了 4.x"改维度就要重建 Cube"的痛点。
  6. 明细与即席短板被补足:Table Index 加速明细过滤,Internal Table + Gluten 让"未预定义"的探索式查询也能在 Kylin 内完成。
  7. 企业级配套完整:多项目隔离、ACL、读写分离、作业诊断、审计日志、监控指标在开源版中均具备。

主要短板(必读)

短板 具体表现 影响
预计算成本高 维度组合数随维度指数增长(2^n-1),构建需消耗大量 Spark/YARN 资源与存储 维度设计不当会导致"构建比查询还贵"
数据时效受限 批处理为主,流式仅覆盖 Kafka 源与 Fusion Model,仍非"任意更新实时可见" 不适合高频更新、强实时的明细查询
架构依赖重 需要 Hadoop 3.2.1 + Hive + HDFS + YARN + ZooKeeper + 关系型元数据库 + Spark 小数据量或纯云原生团队落地成本偏高
运维与调优门槛高 需同时理解 Spark 资源、Cube/索引设计、Segment 管理、元数据与 GC 对 DBA/大数据运维的经验要求高
明细/点查能力先天偏弱 明细依赖 Table Index 或内表,点查、宽表导出不是强项 与 Doris/StarRocks 的"万能"定位有差距
社区活跃度偏低 近年提交/PR 数量处于低位(2024Q4 19 commits、2025Q1 90 commits、2025Q3 10 个 JIRA) 缺陷修复与新特性节奏慢,遇到冷门问题需自助排查
文档与资料断层 大量教程仍停留在 Kylin 3.x/4.x(部分页面 2022 年最后更新) 5.x 新特性(内表、Gluten、推荐)资料相对薄
商业支持集中 主要商业支持来自 Kyligence(Kylin 创始团队创立) 开源版企业级 SLA 需自行承担

局限性(必读)

  • 维度与索引边界:Kylin 4.x 受 Cuboid ID 用 Long 存储限制,最多 63 个维度;Kylin 5 通过新的 Index 抽象取消了该限制(见 Roadmap)。
  • 部署边界:服务端生产环境为 Linux(官方推荐 Ubuntu 18.04+ / RHEL 6.4+ / CentOS 6.4+,JDK 8);Windows 不作为服务端受支持平台(客户端/BI 侧支持 Windows)。Kylin 5.0.3 起修复了 macOS 本地启动问题,但仅适合开发调试。
  • 元数据升级边界:官方明确 Kylin 4 的元数据无法直接升级到 Kylin 5(KYLIN-6001),迁移工具未被充分测试,迁移后仍需重建模型等对象。
  • 功能互斥:Kylin 5 开启内表功能后,不再支持 Snapshot 快照表。
  • 查询语义边界:未命中模型时报 no model found / no realization found;开启下推后改由 Spark SQL 兜底,但下推查询无法使用查询缓存,且 Prepared Statement 场景不支持下推。
  • 数据源边界:以 Hive 为主(Kylin 4 的数据源仅 Hive/CSV,Kylin 5 增加 JDBC、Kafka、逻辑视图),尚不支持 Iceberg/Hudi/Paimon 等湖表格式作为一等公民数据源。

适用场景(必读)

场景 匹配度 原因
固定口径的 BI 报表 / 大屏看板加速 ★★★★★ 查询模式稳定,预计算命中率高,亚秒响应
高并发多维钻取(年/月/日、品类、地区) ★★★★★ Cuboid 命中后资源开销小,QPS 易扩展
PB 级历史数据的周期性分析 ★★★★☆ Parquet + HDFS 成本可控,按分区增量构建
数据仓库/湖上的"半即席"探索 ★★★☆☆ 内表 + Gluten 可支撑,但灵活度弱于 MPP
秒级实时指标(订单、流量监控) ★★☆☆☆ 需 Kafka + Fusion Model,链路与运维成本高
点查、明细导出、宽表随机检索 ★★☆☆☆ 非架构强项,建议交给 Doris/StarRocks/ClickHouse
小数据量(GB 级)快速分析 ★☆☆☆☆ 架构与运维成本远大于收益

同类竞品(必读)

定位与社区规模对比

GitHub 数据抓取于 2026-11-07

产品 技术路线 数据新鲜度 Stars Forks 相对定位
Apache Kylin 预计算 MOLAP(Parquet + Spark/Gluten) 批为主,流式为辅 3,784 1,503 固定口径、高并发、超大规模
Apache Doris MPP + 预聚合物化视图 实时(秒级导入可见) 16,190 4,016 统一数仓,报表 + 即席 + 点查
StarRocks MPP + 向量化 + 物化视图 实时 12,241 2,654 极速查询 + 湖仓分析
ClickHouse 列存 MPP 准实时 50,769 9,226 单表/宽表极速聚合
Apache Trino(PrestoSQL) 分布式查询引擎(无自有存储,Connector 联邦) 取决于底层存储(湖表通常分钟级) 13,475 3,856 跨源联邦、湖上查询网关
Apache Druid 实时时序列存 实时 14,094 3,813 时序、事件流、可观测
Apache Hive / Spark SQL 批处理 SQL 批(分钟~小时) — — 离线数仓底座(非 OLAP 加速)

说明:Stars/Forks 为社区规模的代理指标,不等于市场占有率;中标" — "表示非单一可比仓库,未做同类统计。Trino 与 Kylin/Doris 并非同层产品——它只负责"算"、不负责"存",因此其分数按"独立查询入口"的视角给出,不与其存储引擎叠加。

能力维度主观评分

(1–5 分,越高越优,基于公开资料与本报告判断)

维度 Kylin Doris StarRocks ClickHouse Trino(PrestoSQL)
【固定报表】的亚秒延迟 5 4 5 5 2
【超高并发】的稳定性 5 4 4 4 3
即席/Ad-hoc 灵活度 2 4 5 4 5
明细与点查 2 4 4 3 2
数据实时性 2 5 5 4 3
预计算/索引自动化 4(Kylin 5 推荐) 3 4 2 2
部署与运维简易度 2 4 4 4 3
与 Hadoop/Hive 生态耦合 5 3 3 2 5
社区活跃度(规模代理) 2 5 4 5 4
合计
(满分45/等权加总)
29 36 38 33 29

Trino 打分依据:① 现场计算、无预聚合,交互延迟通常在秒级(2 分);② 每次查询占用多 Worker,高并发靠 Resource Group 排队,成本高(3 分);③ 无模型约束、全 ANSI SQL,Ad-hoc 灵活度最高(5 分);④ 点查需走分布式计划(2 分);⑤ 新鲜度由底层表/Connector 决定(3 分);⑥ 无原生自动预计算(2 分);⑦ 无状态易部署,但 Connector/内存/队列调优费心(3 分);⑧ Hive/Hadoop Connector 为一等公民(5 分);⑨ 13,475 Stars(4 分)。合计为等权加总,仅作相对参考,不能替代真实压测。

选型建议(决策路径)

flowchart TD A["分析场景诉求"] --> B{"查询维度/口径是否高度稳定?"} B -- 是 --> C{"数据量是否 PB 级且已沉淀在 Hive?"} C -- 是 --> D["Kylin:预计算索引 + 高并发 BI"] C -- 否 --> E["Doris / StarRocks:一份存储兼顾报表与即席"] B -- 否 --> F{"是否需要秒级实时可见?"} F -- 是 --> G["Doris / StarRocks / ClickHouse"] F -- 否 --> H{"是否以单表宽表聚合为主?"} H -- 是 --> I["ClickHouse"] H -- 否 --> E D --> J{"是否需要明细/探索式查询?"} J -- 是 --> K["Kylin 内表 + Table Index,或旁挂 MPP"] J -- 否 --> L["Kylin 纯预计算模式即可"] linkStyle default stroke:#4C78A8,stroke-width:1.6px linkStyle 0,2,5,8 stroke:#E45756,stroke-width:1.6px

发展趋势

(1)开源社区活跃趋势(依据 ASF 董事会季度报告)

时间 发布节奏 活跃度指标 社区动作
2024-11 5.0.0 GA(2024-09-27) 19 commits(-81%)、7 contributors、21 PR 新增 4 名 committer
2025-05 5.0.2(2025-03-31) 90 commits(+400%)、18 contributors、84 PR 安全缺陷集中收口
2025-08 5.0.3 筹备 编码活动低位,1~2 个 bugfix 与 Gluten 社区联动测试(用户反馈 v5 较 v4 提升 4~5 倍)
2025-11 5.0.3(2025-09 发布) dev@ 22 封、issues@ 116 封、10 个 JIRA 5.1 转向 AI 工具集成(MCP)
2026-03 — MCP 原型托管在个人仓库 LLM 探索表元数据并自然语言执行 SQL
2026-05 — 安全 issue 修复中 探索与 OpenClaw 集成、筹备新 PMC
2026-08 5.0.4/5.0.5 安全修复(2026-07-13) 1 名新 committer、1 名新 PMC 投票中 计划增加"预计算加速率展示"、指标语义加速

(2)Star / Fork 趋势判断

  • 现状:3,784 Stars / 1,503 Forks,Fork/Star 比约 0.40,属于"被大量二次开发/私有化部署"的典型形态(对比 Doris 0.25、StarRocks 0.22、ClickHouse 0.18)。
  • 横向对比:Kylin 的 Stars 仅为 Doris 的约 23%、ClickHouse 的约 7.5%,说明其在"新项目选型"中的声量已明显落后于新一代 MPP 引擎。
  • 纵向判断:项目仍有稳定的小版本发布(2024 GA → 2025 两次 → 2026 安全版),但提交曲线呈"发布前冲高、发布后回落"的脉冲式,属于成熟期维护型项目,而非高速增长期项目。

(3)技术趋势

  • 从"纯预计算"走向"预计算 + 内表 + 原生引擎"混合架构:承认预计算覆盖不了长尾查询,用 Internal Table 承接即席分析,用 Gluten(ClickHouse 后端)提升 2~4 倍执行性能。
  • 从"人工建模"走向"推荐式建模":SQL 导入建模 + 查询历史驱动的索引推荐 + Index Plan,正面回应 MPP 引擎"零建模成本"的竞争压力。
  • 从"单机组件"走向"微服务化 / 云原生":5.x 已将 query/job/meta 服务拆分,支持读写分离与独立扩缩容;官方 Roadmap 明确 K8s + 对象存储 + 外部元数据服务的方向。
  • 向 AI 与语义层靠拢:MCP 原型、指标语义(metric semantics)加速、自然语言查询,是社区为"Data + AI"寻找新增量的尝试。

小结:Apache Kylin 仍是"预计算 OLAP"这一技术路线最完整的开源实现,但技术叙事的主导权已转移到实时 MPP 与湖仓一体;其未来价值更多体现在"存量 Hadoop 数仓的查询加速层"与"Kylin 5 内表/原生引擎带来的场景延展",而非重新夺回新项目首选地位。


2 工作原理与架构

概念术语

术语 含义 备注
Model(模型) Kylin 5 的核心对象,包含模型设计、索引设计、数据加载三部分 5.x 中 Model 与 Cube 合并,不再单独建 Cube
Dimension(维度) 观察数据的视角,如商品类目、订单日期、地区 分组/过滤的依据
Measure(度量) 聚合指标,如 GMV、订单数、UV 支持 SUM/COUNT/COUNT DISTINCT(Bitmap/HLLC)/TOP-N/PERCENTILE_APPROX 等
Cuboid 某一维度组合下的预聚合结果 全部组合数 = 2^n-1,是"维度灾难"的根源
Aggregate Index(聚合索引/Cube) 由多个 Cuboid 组成的预计算集合 Kylin 的传统加速主力
Table Index(明细索引) 对(部分)平表物化,并按 Shard/Sort Key 组织,用于明细查询 Kylin 5 新增,补足明细短板
Layout 同一 Index 的不同数据组织形态(Shard Key、Sort Key) 让同一索引适配不同查询特征
Index Plan 依据模型设计与规则生成/维护索引的计划对象 支撑模型变更后的索引自动增删与代价优化
Aggregation Group(聚合组) 维度组合的分组约束,用于裁剪 Cuboid 数量 配合 Mandatory / Joint / Hierarchy 维度使用
Mandatory Dimension 必选维度:只计算包含该维度的 Cuboid 大幅减少组合数
Joint Dimension 联合维度:多个维度视为一个整体出现 应对"总是一起查询"的维度
Hierarchy Dimension 层级维度:年→月→日 等父子关系,按层级裁剪组合 支撑钻取
Segment(数据分段) 一个模型下按分区范围切分的数据段,是构建/刷新/合并的最小单位 状态含 ONLINE / WARNING / LOCKED / LOADING / REFRESHING / MERGING
Partition(分区) 时间分区列 + 可选二级分区(如业务线) 决定 Segment 的切分粒度
Computed Column(计算列) 在模型中预定义表达式,把轻量 ETL 前移到预计算阶段 Kylin 5 重要易用性改进
Global Dictionary 全局字典,为高基数维度编码 Kylin 4 起重构实现,5.x 支持 V3 字典文件自动合并
Internal Table(内表) 由 Kylin 直接管理数据与元数据的表 默认使用 Gluten MergeTree 存储格式
Fusion Model(融合模型) 流批融合模型,Kafka 流式数据与批量数据共同服务查询 把延迟压到秒~分钟
Snapshot(快照表) 维度表快照,保证维表与事实表的一致性 5.x 开启内表后不再支持
Pushdown(下推) 未命中模型的查询路由到 Spark SQL 执行 新项目默认开启,但不走查询缓存
Answered By 查询实际命中的模型/数据源标识 排障核心字段:模型名 或 HIVE

架构与运行原理

总体架构(Kylin 5)

flowchart TB subgraph ACCESS["接入层"] UI["Web UI / Insight"] REST["REST API / OpenAPI"] JDBC["JDBC 驱动"] BI["BI 工具:Tableau / Power BI / Excel / Superset"] end subgraph SERVICE["Kylin 服务层(Spring Boot,7070/7443)"] QS["Query Service 查询服务<br/>Calcite 解析 + 模型匹配"] MS["Metadata Service 元数据服务"] JS["Job Service 任务服务 / 调度"] ACL["权限与项目隔离"] end subgraph COMPUTE["计算层"] SPARK["Apache Spark<br/>构建 + 查询执行"] GLUTEN["Gluten + ClickHouse Backend<br/>原生向量化引擎"] PD["Pushdown Engine<br/>Spark SQL 兜底"] end subgraph STORAGE["存储层"] PQ["HDFS / 对象存储<br/>Parquet:Cuboid / Layout 文件"] IT["Internal Table<br/>Gluten MergeTree 文件"] META["关系型元数据库<br/>PostgreSQL / MySQL"] ZK["ZooKeeper<br/>服务发现 / 分布式协调"] end UI --> QS REST --> QS JDBC --> QS BI --> JDBC QS --> MS QS --> SPARK QS --> GLUTEN QS --> PD JS --> SPARK JS --> MS MS --> META SERVICE --> ZK SPARK --> PQ GLUTEN --> PQ GLUTEN --> IT PD --> PQ linkStyle default stroke:#4C78A8,stroke-width:1.6px linkStyle 0,1,2,3 stroke:#54A24B,stroke-width:1.6px linkStyle 4,5,6,7,8,9 stroke:#E45756,stroke-width:1.6px

各层职责

层 组件 关键职责
接入层 Web UI、REST、JDBC 统一入口;JDBC 兼容 BI 生态,支持用户委派(Execute As User)
服务层 Query / Metadata / Job 服务 SQL 解析(Calcite)、模型匹配与代价选择、元数据事务、作业调度;5.x 已支持服务拆分与读写分离
计算层 Spark、Gluten、Pushdown 构建作业与查询执行;Gluten 提供向量化 + 列存后端;下推负责兜底长尾查询
存储层 Parquet、内表文件、RDBMS、ZK 预计算数据落盘;元数据集中存储与审计;ZK 负责服务发现/协调

Kylin 4 → Kylin 5 的架构演进

维度 Kylin 4.x Kylin 5.x 变化影响
存储引擎 HBase(3.x)/ Parquet(4.x) Parquet + 内表 Gluten MergeTree(可选 ClickHouse 分层存储) 云上友好、格式开放、支持明细
计算引擎 Spark(构建+查询统一,Sparder 常驻) Spark + Gluten-ClickHouse 官方称较原生 Spark 提升 2~4 倍
元数据 KV 结构(HBase/MySQL),带项目锁与 Epoch 结构化 RDBMS(PostgreSQL 默认 / MySQL),去锁去 Epoch 并发能力与事务性能显著提升
建模对象 Model + Cube 两级 Model + Index + Layout + IndexPlan 一级 可增删维度/索引,不必整体重建
维度上限 63(Long 型 Cuboid ID) 取消 高维场景可用
明细查询 弱(依赖 Snapshot/下推) Table Index + Internal Table 明显补强
快照 支持 Snapshot 表 开启内表后不支持 Snapshot 功能互斥,需注意
部署形态 单机/集群/读写分离 增加服务拆分(query/job/meta),面向 K8s 弹性扩缩容

预计算原理:Cube 与 Cuboid

Kylin 的核心是多维立方体:

  • 设模型有 n 个维度,则理论上可产生 2^n - 1 个 Cuboid(每个 Cuboid 是某维度组合下的度量聚合结果)。例如 3 个维度有 7 个 Cuboid,10 个维度就有 1023 个——这就是"维度灾难"。
  • 为控制爆炸,Kylin 用 Aggregation Group 把维度分组,并配合 Mandatory(必选)/ Joint(联合)/ Hierarchy(层级) 维度裁剪组合,同时用 Max Dimension Combination 限制单组最大组合维度数。
  • 构建时:源表 → 平表(Flat Table,宽表化 Join)→ 按聚合组生成 Cuboid → 按维度编码(字典编码、整数编码、定长编码)→ 以 Parquet 文件按 model/segment/cuboid/part-*.parquet 目录落盘。
  • 度量支持精确与近似两类:COUNT DISTINCT 可用 Bitmap(精确、可交并)或 HLLC(近似、省空间);TOP-N、PERCENTILE_APPROX 属于近似聚合。

预计算与查询的关系

flowchart LR A["Hive 源表"] --> B["平表构建<br/>Join + 计算列"] B --> C["按聚合组生成 Cuboid"] C --> D["维度/度量编码"] D --> E["Parquet 索引文件<br/>按 Segment 管理"] E --> F["查询命中:扫描最小 Cuboid"] F --> G["亚秒级结果"] B --> H["Table Index<br/>明细物化 + Shard/Sort"] H --> F linkStyle default stroke:#4C78A8,stroke-width:1.6px linkStyle 3,5 stroke:#54A24B,stroke-width:1.6px

查询执行原理

Kylin 的查询不是"现场计算",而是"索引替换 + 增量计算":

  1. 解析 SQL:Calcite 解析语句,抽取所有 FROM 子句。
  2. 模型匹配:为每个 FROM 子句寻找匹配且代价最小的模型:
    • 表关系必须与模型中定义的事实表/维度表关系一致(LEFT JOIN 不等于 INNER JOIN,不能混用);
    • 聚合查询:GROUP BY 列必须是模型维度,聚合函数必须是模型度量;
    • 非聚合(明细)查询:必须存在 Table Index,且查询涉及的列被该索引覆盖。
  3. 代价选择:多个索引命中时选择代价最小者;Table Index 也能回答聚合查询,但需现场计算,代价高,属于最后选择。
  4. 索引执行:把 FROM 中的表替换为预计算结果,再执行剩余计算,返回结果;Web UI 的 Answered By 会显示命中的模型名。
  5. 兜底下推:若存在无法匹配的 FROM 子句,默认路由到 Spark SQL 下推引擎;若关闭下推则报 no model found / no realization found。

查询路径

flowchart TD Q["SQL 查询"] --> P["Calcite 解析"] P --> M{"模型匹配成功?"} M -- 是 --> C{"多索引命中?"} C -- 否 --> X["直接扫描该索引"] C -- 是 --> Y["按代价选最小索引"] M -- 否 --> D{"下推引擎开启?"} D -- 是 --> E["Spark SQL 下推执行<br/>Answered By: HIVE/Spark"] D -- 否 --> F["报错:no model found"] X --> R["返回结果 + Answered By"] Y --> R E --> R linkStyle default stroke:#4C78A8,stroke-width:1.6px linkStyle 5,6 stroke:#E45752,stroke-width:1.6px

元数据、调度与高可用

  • 元数据:Kylin 5 使用 PostgreSQL(默认,随包提供 10.7)或 MySQL(5.1–5.7,推荐 5.7)存储结构化元数据,并新增元数据审计日志用于审计、调试与节点间缓存同步;元数据同步从"广播"改为"基于变更信息的主动同步"。
  • 调度:Job Service 负责任务编排(构建、刷新、合并、清理、诊断),支持优先级、并发限制、失败重试;Spark 作业默认提交到 YARN 队列(kylin.engine.spark-conf.spark.yarn.queue)。
  • 高可用:支持集群部署与读写分离;ZooKeeper 提供服务发现(kylin.env.zookeeper-connect-string),可开启 ACL。
  • 可观测:作业详情/诊断包(含 Spark 火焰图)、系统日志、审计日志、查询历史(Kylin 5 记录 Kylin/Spark 侧指标,为索引优化提供输入)、InfluxDB 监控集成(可选)。

存储布局(以 4.x 为参照,5.x 延续该思路)

/kylin/kylin_metadata/<project>/
├── job_tmp/            # 构建过程临时文件
├── parquet/            # 各 Cube/Model 的 Cuboid 数据
│   └── <model>/<segment>/<cuboid>/part-*.snappy.parquet
└── table_snapshot/     # 维度表快照(5.x 开内表后不再使用)
  • 目录结构即"分区裁剪"的依据:查询可先按 model/segment 过滤,再按 cuboid 选择最小组合,避免扫描无关文件。
  • 内表数据以 Gluten MergeTree 格式存放,支持分区内文件合并、增量装载与预缓存。

3 使用指南

环境与前置条件

项目 要求(Kylin 5.0.5)
操作系统(服务端) Linux:Ubuntu 18.04+(推荐 LTS)/ RHEL 6.4+ / CentOS 6.4+;生产建议专用 Hadoop 客户端节点
JDK JDK 8(1.8_162 及以上)
Hadoop Apache Hadoop 3.2.1(需 HDFS、YARN、Hive、ZooKeeper 正常无告警)
元数据库 PostgreSQL 9.1+(默认,随包 10.7)或 MySQL 5.1–5.7(推荐 5.7)
资源(推荐) 16 vCore / 64 GB 内存 / ≥500 GB 磁盘;YARN nodemanager.resource.memory-mb > 8192 MB
客户端 macOS / Windows 7+,浏览器 Chrome 45+;内存 8 GB+
关键端口 7070(HTTP)、7443(HTTPS,可选)、4041(Spark Query UI)、2181(ZK)、8020/50010(HDFS)、9083(Hive Metastore)、8088/8032(YARN)、5432/3306(元数据库)

Linux 单机部署

以 /usr/local + 专用账号 KyAdmin 为例:

# 1. 准备目录与账号,配置好 Hadoop 客户端(core-site.xml / hive-site.xml 可被读取)
export KYLIN_HOME=/usr/local/apache-kylin-5.0.5

# 2. 解压安装包
cd /usr/local
tar -zxvf apache-kylin-5.0.5-bin.tar.gz

# 3. 下载内置 Spark(会在 $KYLIN_HOME 下生成 spark 目录)
bash $KYLIN_HOME/sbin/download-spark-user.sh

# 4. 配置元数据库(PostgreSQL 示例)与 ZooKeeper
#    $KYLIN_HOME/conf/kylin.properties
#    kylin.metadata.url=kylin_metadata@jdbc,driverClassName=org.postgresql.Driver,\
#      url=jdbc:postgresql://127.0.0.1:5432/kylin,username=kylin,password=xxx
#    kylin.env.zookeeper-connect-string=10.1.2.1:2181,10.1.2.2:2181

# 5. 创建 HDFS 工作目录并授权
hadoop fs -mkdir -p /kylin
hadoop fs -chown KyAdmin /kylin
hadoop fs -mkdir -p /kylin/spark-history
hadoop fs -chown KyAdmin /kylin/spark-history

# 6. 环境自检并启动
$KYLIN_HOME/bin/check-env.sh
$KYLIN_HOME/bin/kylin.sh start

# 7. 导入 SSB 样例数据(生成 SSB 库与 6 张 Hive 表)
$KYLIN_HOME/bin/sample.sh

# 停止
$KYLIN_HOME/bin/kylin.sh stop

启动后访问 http://<host>:7070/kylin,默认用户 ADMIN,首次启动会在控制台打印随机初始密码;首次登录后必须按规则修改(≥8 位,含数字、字母、特殊字符)。

注意:check-env.sh 依赖 curl 的 GSS-Negotiate 支持,建议先执行 curl --version 确认。

Docker 快速试用(亲测)

# https://kylin.apache.org/zh-Hans/docs/quickstart/intro/
docker run -d \
  --name kylin5-standalone \
  --hostname localhost \
  -e TZ=UTC \
  -m 10G \
  -p 7070:7070 -p 8088:8088 -p 9870:9870 -p 8032:8032 -p 8042:8042 -p 2181:2181 \
  apachekylin/apache-kylin-standalone:5.0.2-GA
  • 官方明确提示:5.0.2 的 Docker 镜像不含最新安全修复,仅适合个人功能体验,生产必须使用最新版本。
  • 镜像仅提供 amd64 平台版本。

Docker Compose 快速试用(亲测)

配置 docker-compose-apache-kylin.yml

https://kylin.apache.org/zh-Hans/docs/quickstart/intro/

# https://kylin.apache.org/zh-Hans/docs/quickstart/intro/
#docker run -d \
#  --name kylin5-standalone \
#  --hostname localhost \
#  -e TZ=UTC \
#  -m 10G \
#  -p 7070:7070 -p 8088:8088 -p 9870:9870 -p 8032:8032 -p 8042:8042 -p 2181:2181 \
#  apachekylin/apache-kylin-standalone:5.0.2-GA

# https://kylin.apache.org/zh-Hans/docs/4.0.4/install/kylin_docker/
#docker run -d \
#-m 8G \
#-p 7070:7070 \
#-p 8088:8088 \
#-p 50070:50070 \
#-p 8032:8032 \
#-p 8042:8042 \
#-p 2181:2181 \
#apachekylin/apache-kylin-standalone:4.0.0

# 踩坑经验:实际操作(拉取镜像)的建议: ↓
## docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/apachekylin/apache-kylin-standalone:5.0.2-GA
## docker tag swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/apachekylin/apache-kylin-standalone:5.0.2-GA apachekylin/apache-kylin-standalone:5.0.2-GA

services:
  kylin5-standalone:
    image: apache-kylin-standalone:5.0.2-GA
    container_name: kylin5-standalone
    restart: always

    ports:
      - "7070:7070"
      - "8088:8088"
      - "9870:9870"
      - "8032:8032"
      - "8042:8042"
      - "2181:2181"

    #volumes:

    #command:
      #- --config=/opt/xxx/config.yml

    ulimits:
      nofile:
        soft: 65535
        hard: 65535
  • 端口说明

这 6 个端口分三类:业务入口、运维后台、协议端口。

端口 归属组件 用途 浏览器能直接打开吗 在你的场景里是否必需
7070 Kylin Server Web UI(/kylin)、REST API、JDBC 也走这个端口 ✅ 是唯一业务入口 必需
8088 YARN ResourceManager 查看应用列表、队列、容器日志、作业卡在哪 ✅ 可开 排障用,建议保留
9870 HDFS NameNode(Hadoop 3.x) 查看 HDFS 健康度、浏览目录、确认 Cuboid 文件是否落盘 ✅ 可开 排障用(4.x 镜像对应 50070)
8032 YARN RM 的 ApplicationMaster Service Spark 作业向 RM 申请资源、AM 注册的 RPC 端口 ❌ 不是网页 单容器内非必需;外部提交 Spark 才需要
8042 YARN NodeManager 查看单个容器状态、stdout/stderr 日志 ✅ 可开 排查构建失败时常用
2181 ZooKeeper Kylin 服务发现/协调(老镜像里 Kafka 也复用) ❌ 不是网页 Kylin 内部依赖,不建议对外暴露

两个容易误解的点

  • 8032 和 2181 不是“访问入口”:前者是 【YARN 协议端口】,后者是 【ZooKeeper 客户端端口】,用浏览器打开只会报错或挂起,它们存在只是为了“容器内客户端能连、必要时外部客户端也能连”。
  • 端口映射默认监听 0.0.0.0:POC 在本地跑没问题,若机器有公网 IP,2181/8088/8032 暴露出去有安全风险。只在本机用可以改成 -p 127.0.0.1:7070:7070 这类写法。

启动运行

# 从华为云的镜像仓库拉取 (国内无法直接访问 Docker官方镜像站、且诸多第三方镜像站不存在此镜像)
$ docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/apachekylin/apache-kylin-standalone:5.0.2-GA
$ docker tag swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/apachekylin/apache-kylin-standalone:5.0.2-GA apachekylin/apache-kylin-standalone:5.0.2-GA

$ docker-compose -f "D:\Program-Data\Docker-Compose-Files\docker-compose-apache-kylin.yml" up -d
WARN[0000] Found orphan containers (typedb, iotdb-datanode, iotdb-confignode) for this project. If you removed or renamed this service in your compose file, you can run this command
 with the --remove-orphans flag to clean it up.
[+] up 1/1
 ✔ Container kylin5-standalone Started   

启动日志:

$ docker logs --follow kylin5-standalone

===============================================================================
*******************************************************************************
|
|   Start SSH server at Sat Nov  7 08:30:22 UTC 2026
|   Command: /etc/init.d/ssh start
|
 * Starting OpenBSD Secure Shell server sshd
   ...done.
[Start SSH server] succeed.

===============================================================================
*******************************************************************************
|
|   Start MySQL at Sat Nov  7 08:30:22 UTC 2026
|   Command: service mysql start
|
 * Starting MySQL database server mysqld
su: warning: cannot change directory to /nonexistent: No such file or directory
   ...done.
[Start MySQL] succeed.

===============================================================================
*******************************************************************************
|
|   Create Database kylin at Sat Nov  7 08:30:23 UTC 2026
|   Command: mysql -uroot -p123456 -e CREATE DATABASE IF NOT EXISTS kylin default charset utf8mb4 COLLATE utf8mb4_general_ci;
|
mysql: [Warning] Using a password on the command line interface can be insecure.
[Create Database kylin] succeed.

===============================================================================
*******************************************************************************
|
|   Create Database hive3 at Sat Nov  7 08:30:23 UTC 2026
|   Command: mysql -uroot -p123456 -e CREATE DATABASE IF NOT EXISTS hive3 default charset utf8mb4 COLLATE utf8mb4_general_ci;
|
mysql: [Warning] Using a password on the command line interface can be insecure.
[Create Database hive3] succeed.

===============================================================================
*******************************************************************************
|
|   Init Hive at Sat Nov  7 08:30:23 UTC 2026
|   Command: schematool -initSchema -dbType mysql
|
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/apache-hive-3.1.3-bin/lib/log4j-slf4j-impl-2.17.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop-3.2.4/share/hadoop/common/lib/slf4j-reload4j-1.7.35.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Metastore connection URL:        jdbc:mysql://127.0.0.1:3306/hive3?useSSL=false&allowPublicKeyRetrieval=true&characterEncoding=UTF-8
Metastore Connection Driver :    com.mysql.cj.jdbc.Driver
Metastore connection User:       root
Starting metastore schema initialization to 3.1.0
Initialization script hive-schema-3.1.0.mysql.sql






































































































































































































































Initialization script completed
schemaTool completed
[Init Hive] succeed.

===============================================================================
*******************************************************************************
|
|   Format HDFS at Sat Nov  7 08:30:29 UTC 2026
|   Command: hdfs namenode -format
|
WARNING: /opt/hadoop-3.2.4/logs does not exist. Creating.
2026-11-07 08:30:29,607 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = 324f15e33269/172.19.0.3
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 3.2.4
STARTUP_MSG:   classpath = /opt/hadoop-3.2.4/etc/hadoop:/opt/hadoop-3.2.4/share/hadoop/common/lib/jetty-security-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/httpc
lient-4.5.13.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jcip-annotations-1.0-1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/javax.servlet-api-3.1.0.jar:/opt/hadoop-3.2.4/share/h
adoop/common/lib/jackson-mapper-asl-1.9.13.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/kerb-common-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/dnsjava-2.1.7.jar:/opt/hadoo
p-3.2.4/share/hadoop/common/lib/jackson-xc-1.9.13.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/htrace-core4-4.1.0-incubating.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/slf4j-api
-1.7.35.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jsp-api-2.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/kerb-simplekdc-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/ja
xb-impl-2.2.3-1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/hadoop-auth-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jackson-databind-2.10.5.1.jar:/opt/hadoop-3.2.4/share/h
adoop/common/lib/httpcore-4.4.13.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jersey-server-1.19.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/commons-codec-1.11.jar:/opt/hadoop-3.
2.4/share/hadoop/common/lib/jetty-server-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/kerby-util-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jersey-core-1.
19.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/checker-qual-2.5.2.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/curator-client-2.13.0.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib
/woodstox-core-5.3.0.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jetty-http-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/listenablefuture-9999.0-empty-to-avoid-c
onflict-with-guava.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/kerb-core-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/commons-collections-3.2.2.jar:/opt/hadoop-3.2.4/share/
hadoop/common/lib/commons-beanutils-1.9.4.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/netty-3.10.6.Final.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jersey-servlet-1.19.jar:/opt
/hadoop-3.2.4/share/hadoop/common/lib/jetty-util-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jackson-core-asl-1.9.13.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib
/jettison-1.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/kerb-identity-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jetty-util-ajax-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/
share/hadoop/common/lib/metrics-core-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/commons-net-3.6.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jersey-json-1.19.jar:/opt/hado
op-3.2.4/share/hadoop/common/lib/kerb-client-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/gson-2.9.0.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jackson-annotations-2.10.5.
jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/kerby-asn1-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/commons-cli-1.2.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/token-prov
ider-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/commons-compress-1.21.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jsch-0.1.55.jar:/opt/hadoop-3.2.4/share/hadoop/common/li
b/guava-27.0-jre.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/javax.activation-api-1.2.0.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/commons-text-1.4.jar:/opt/hadoop-3.2.4/share/
hadoop/common/lib/zookeeper-3.4.14.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/spotbugs-annotations-3.1.9.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/kerby-xdr-1.0.1.jar:/opt/ha
doop-3.2.4/share/hadoop/common/lib/slf4j-reload4j-1.7.35.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/avro-1.7.7.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/failureaccess-1.0.jar
:/opt/hadoop-3.2.4/share/hadoop/common/lib/kerb-admin-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/accessors-smart-2.4.7.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/audienc
e-annotations-0.5.0.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/kerb-crypto-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/commons-lang3-3.7.jar:/opt/hadoop-3.2.4/share/hadoo
p/common/lib/jsr311-api-1.1.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/reload4j-1.2.18.3.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/error_prone_annotations-2.2.0.jar:/opt/ha
doop-3.2.4/share/hadoop/common/lib/jetty-webapp-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/kerby-config-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/asm-5
.0.4.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/re2j-1.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/commons-math3-3.1.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/paranamer
-2.3.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/commons-configuration2-2.1.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/snappy-java-1.0.5.jar:/opt/hadoop-3.2.4/share/hadoop/co
mmon/lib/jetty-io-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jsr305-3.0.2.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/kerb-server-1.0.1.jar:/opt/hadoop-3.2.4/s
hare/hadoop/common/lib/hadoop-annotations-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jetty-xml-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/kerby-pkix-1.0
.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/curator-framework-2.13.0.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jul-to-slf4j-1.7.35.jar:/opt/hadoop-3.2.4/share/hadoop/common
/lib/j2objc-annotations-1.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/commons-io-2.8.0.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jaxb-api-2.2.11.jar:/opt/hadoop-3.2.4/share/
hadoop/common/lib/protobuf-java-2.5.0.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/json-smart-2.4.7.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jetty-servlet-9.4.43.v20210629.jar
:/opt/hadoop-3.2.4/share/hadoop/common/lib/curator-recipes-2.13.0.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/stax2-api-4.2.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jackson
-core-2.10.5.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/animal-sniffer-annotations-1.17.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jackson-jaxrs-1.9.13.jar:/opt/hadoop-3.2.4/s
hare/hadoop/common/lib/kerb-util-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/commons-logging-1.1.3.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/nimbus-jose-jwt-9.8.1.jar:/o
pt/hadoop-3.2.4/share/hadoop/common/hadoop-nfs-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/common/hadoop-common-3.2.4-tests.jar:/opt/hadoop-3.2.4/share/hadoop/common/hadoop-common-3.2.
4.jar:/opt/hadoop-3.2.4/share/hadoop/common/hadoop-kms-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jetty-security-9.4.43.v20210629.jar:/opt
/hadoop-3.2.4/share/hadoop/hdfs/lib/httpclient-4.5.13.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jcip-annotations-1.0-1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/javax.servlet-ap
i-3.1.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jackson-mapper-asl-1.9.13.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/kerb-common-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/l
ib/dnsjava-2.1.7.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jackson-xc-1.9.13.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/htrace-core4-4.1.0-incubating.jar:/opt/hadoop-3.2.4/share/
hadoop/hdfs/lib/kerb-simplekdc-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jaxb-impl-2.2.3-1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/leveldbjni-all-1.8.jar:/opt/hadoop-3.2
.4/share/hadoop/hdfs/lib/hadoop-auth-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jackson-databind-2.10.5.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/httpcore-4.4.13.jar:/opt
/hadoop-3.2.4/share/hadoop/hdfs/lib/jersey-server-1.19.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/commons-codec-1.11.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jetty-server-9.4.43
.v20210629.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/kerby-util-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jersey-core-1.19.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/chec
ker-qual-2.5.2.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/curator-client-2.13.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/commons-daemon-1.0.13.jar:/opt/hadoop-3.2.4/share/hadoop
/hdfs/lib/woodstox-core-5.3.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jetty-http-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/listenablefuture-9999.0-empty-to-av
oid-conflict-with-guava.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/kerb-core-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/commons-collections-3.2.2.jar:/opt/hadoop-3.2.4/share
/hadoop/hdfs/lib/commons-beanutils-1.9.4.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/netty-3.10.6.Final.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jersey-servlet-1.19.jar:/opt/hado
op-3.2.4/share/hadoop/hdfs/lib/jetty-util-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jackson-core-asl-1.9.13.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jettison-1
.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/kerb-identity-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jetty-util-ajax-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/share/hadoop/hd
fs/lib/commons-net-3.6.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jersey-json-1.19.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/kerb-client-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/
hdfs/lib/gson-2.9.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jackson-annotations-2.10.5.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/kerby-asn1-1.0.1.jar:/opt/hadoop-3.2.4/share/h
adoop/hdfs/lib/okhttp-2.7.5.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/commons-cli-1.2.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/okio-1.6.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdf
s/lib/token-provider-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/commons-compress-1.21.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jsch-0.1.55.jar:/opt/hadoop-3.2.4/share/hado
op/hdfs/lib/guava-27.0-jre.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/javax.activation-api-1.2.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/commons-text-1.4.jar:/opt/hadoop-3.2.4/
share/hadoop/hdfs/lib/zookeeper-3.4.14.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/spotbugs-annotations-3.1.9.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/kerby-xdr-1.0.1.jar:/opt/ha
doop-3.2.4/share/hadoop/hdfs/lib/avro-1.7.7.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/failureaccess-1.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/kerb-admin-1.0.1.jar:/opt/hadoo
p-3.2.4/share/hadoop/hdfs/lib/accessors-smart-2.4.7.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/audience-annotations-0.5.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/kerb-crypto-1.
0.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/commons-lang3-3.7.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jsr311-api-1.1.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/reload4j-1
.2.18.3.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/error_prone_annotations-2.2.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jetty-webapp-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/sha
re/hadoop/hdfs/lib/kerby-config-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/asm-5.0.4.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/re2j-1.1.jar:/opt/hadoop-3.2.4/share/hadoop/h
dfs/lib/commons-math3-3.1.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/paranamer-2.3.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/commons-configuration2-2.1.1.jar:/opt/hadoop-3.2.4/
share/hadoop/hdfs/lib/snappy-java-1.0.5.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jetty-io-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jsr305-3.0.2.jar:/opt/hadoo
p-3.2.4/share/hadoop/hdfs/lib/kerb-server-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/hadoop-annotations-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jetty-xml-9.4.43.v20
210629.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/kerby-pkix-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/curator-framework-2.13.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/
j2objc-annotations-1.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/commons-io-2.8.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jaxb-api-2.2.11.jar:/opt/hadoop-3.2.4/share/hadoop/hd
fs/lib/protobuf-java-2.5.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/json-smart-2.4.7.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jetty-servlet-9.4.43.v20210629.jar:/opt/hadoop-3.
2.4/share/hadoop/hdfs/lib/curator-recipes-2.13.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/stax2-api-4.2.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/json-simple-1.1.1.jar:/opt/h
adoop-3.2.4/share/hadoop/hdfs/lib/jackson-core-2.10.5.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/animal-sniffer-annotations-1.17.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jackson
-jaxrs-1.9.13.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/kerb-util-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/commons-logging-1.1.3.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/l
ib/netty-all-4.1.68.Final.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/nimbus-jose-jwt-9.8.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/hadoop-hdfs-httpfs-3.2.4.jar:/opt/hadoop-3.2.4/sh
are/hadoop/hdfs/hadoop-hdfs-native-client-3.2.4-tests.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/hadoop-hdfs-client-3.2.4-tests.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/hadoop-hdfs-rbf-
3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/hadoop-hdfs-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/hadoop-hdfs-rbf-3.2.4-tests.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/hadoop-hd
fs-native-client-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/hadoop-hdfs-nfs-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/hadoop-hdfs-3.2.4-tests.jar:/opt/hadoop-3.2.4/share/hado
op/hdfs/hadoop-hdfs-client-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/mapreduce/lib/junit-4.13.2.jar:/opt/hadoop-3.2.4/share/hadoop/mapreduce/lib/hamcrest-core-1.3.jar:/opt/hadoop-3.2
.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.4-tests.jar:/opt/hadoop-3.2.4/share/hadoop/mapreduce/hadoop-mapreduce-client-uploader-3.2.4.jar:/opt/hadoop-3.2.4/sha
re/hadoop/mapreduce/hadoop-mapreduce-client-app-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/mapreduce/hadoop-mapreduce-client-hs-plugins-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/mapred
uce/hadoop-mapreduce-examples-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/mapreduce/hadoop-mapreduce-client-core-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/mapreduce/hadoop-mapreduce-cli
ent-nativetask-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/mapreduce/hadoop-mapreduce-client-hs-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/mapreduce/hadoop-mapreduce-client-shuffle-3.2.4
.jar:/opt/hadoop-3.2.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/mapreduce/hadoop-mapreduce-client-common-3.2.4.jar:/opt/hado
op-3.2.4/share/hadoop/yarn:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/bcprov-jdk15on-1.60.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/aopalliance-1.0.jar:/opt/hadoop-3.2.4/share/hadoop
/yarn/lib/jackson-module-jaxb-annotations-2.10.5.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/javax.inject-1.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/jersey-client-1.19.jar:/opt/h
adoop-3.2.4/share/hadoop/yarn/lib/jackson-jaxrs-base-2.10.5.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/metrics-core-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/jakarta.xml.bi
nd-api-2.3.2.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/guice-servlet-4.0.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/guice-4.0.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/fst-2.50
.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/objenesis-1.0.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/geronimo-jcache_1.0_spec-1.0-alpha-1.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/l
ib/snakeyaml-1.26.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/jackson-jaxrs-json-provider-2.10.5.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/mssql-jdbc-6.2.1.jre7.jar:/opt/hadoop-3.
2.4/share/hadoop/yarn/lib/HikariCP-java7-2.4.12.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/bcpkix-jdk15on-1.60.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/jersey-guice-1.19.jar:/op
t/hadoop-3.2.4/share/hadoop/yarn/lib/java-util-1.9.0.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/swagger-annotations-1.5.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/jakarta.activa
tion-api-1.2.1.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/json-io-2.5.1.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/ehcache-3.3.1.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yar
n-services-core-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-registry-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-server-timeline-pluginstorage-3.2.4.jar:
/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-client-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-server-sharedcachemanager-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/y
arn/hadoop-yarn-applications-unmanaged-am-launcher-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-server-resourcemanager-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/had
oop-yarn-applications-distributedshell-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-server-web-proxy-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-server-co
mmon-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-server-nodemanager-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-api-3.2.4.jar:/opt/hadoop-3.2.4/share/had
oop/yarn/hadoop-yarn-common-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-submarine-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-services-api-3.2.4.jar:/opt
/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-server-applicationhistoryservice-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-server-router-3.2.4.jar:/opt/hadoop-3.2.4/shar
e/hadoop/yarn/hadoop-yarn-server-tests-3.2.4.jar
STARTUP_MSG:   build = Unknown -r 7e5d9983b388e372fe640f21f048f2f2ae6e9eba; compiled by 'ubuntu' on 2022-07-12T11:58Z
STARTUP_MSG:   java = 1.8.0_442
************************************************************/
2026-11-07 08:30:29,612 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]
2026-11-07 08:30:29,664 INFO namenode.NameNode: createNameNode [-format]
Formatting using clusterid: CID-08d0b9c6-3fd4-415c-a411-b79cc0c8f2d1
2026-11-07 08:30:29,944 INFO namenode.FSEditLog: Edit logging is async:true
2026-11-07 08:30:29,961 INFO namenode.FSNamesystem: KeyProvider: null
2026-11-07 08:30:29,961 INFO namenode.FSNamesystem: fsLock is fair: true
2026-11-07 08:30:29,962 INFO namenode.FSNamesystem: Detailed lock hold time metrics enabled: false
2026-11-07 08:30:29,967 INFO namenode.FSNamesystem: fsOwner             = root (auth:SIMPLE)
2026-11-07 08:30:29,967 INFO namenode.FSNamesystem: supergroup          = supergroup
2026-11-07 08:30:29,967 INFO namenode.FSNamesystem: isPermissionEnabled = true
2026-11-07 08:30:29,967 INFO namenode.FSNamesystem: HA Enabled: false
2026-11-07 08:30:30,003 INFO common.Util: dfs.datanode.fileio.profiling.sampling.percentage set to 0. Disabling file IO profiling
2026-11-07 08:30:30,010 INFO blockmanagement.DatanodeManager: dfs.block.invalidate.limit: configured=1000, counted=60, effected=1000
2026-11-07 08:30:30,010 INFO blockmanagement.DatanodeManager: dfs.namenode.datanode.registration.ip-hostname-check=true
2026-11-07 08:30:30,013 INFO blockmanagement.BlockManager: dfs.namenode.startup.delay.block.deletion.sec is set to 000:00:00:00.000
2026-11-07 08:30:30,013 INFO blockmanagement.BlockManager: The block deletion will start around 2026 Nov 07 08:30:30
2026-11-07 08:30:30,014 INFO util.GSet: Computing capacity for map BlocksMap
2026-11-07 08:30:30,014 INFO util.GSet: VM type       = 64-bit
2026-11-07 08:30:30,015 INFO util.GSet: 2.0% max memory 2.6 GB = 52.6 MB
2026-11-07 08:30:30,015 INFO util.GSet: capacity      = 2^23 = 8388608 entries
2026-11-07 08:30:30,021 INFO blockmanagement.BlockManager: Storage policy satisfier is disabled
2026-11-07 08:30:30,021 INFO blockmanagement.BlockManager: dfs.block.access.token.enable = false
2026-11-07 08:30:30,025 INFO blockmanagement.BlockManagerSafeMode: dfs.namenode.safemode.threshold-pct = 0.9990000128746033
2026-11-07 08:30:30,025 INFO blockmanagement.BlockManagerSafeMode: dfs.namenode.safemode.min.datanodes = 0
2026-11-07 08:30:30,025 INFO blockmanagement.BlockManagerSafeMode: dfs.namenode.safemode.extension = 30000
2026-11-07 08:30:30,025 INFO blockmanagement.BlockManager: defaultReplication         = 1
2026-11-07 08:30:30,025 INFO blockmanagement.BlockManager: maxReplication             = 512
2026-11-07 08:30:30,025 INFO blockmanagement.BlockManager: minReplication             = 1
2026-11-07 08:30:30,025 INFO blockmanagement.BlockManager: maxReplicationStreams      = 2
2026-11-07 08:30:30,025 INFO blockmanagement.BlockManager: redundancyRecheckInterval  = 3000ms
2026-11-07 08:30:30,025 INFO blockmanagement.BlockManager: encryptDataTransfer        = false
2026-11-07 08:30:30,025 INFO blockmanagement.BlockManager: maxNumBlocksToLog          = 1000
2026-11-07 08:30:30,040 INFO namenode.FSDirectory: GLOBAL serial map: bits=29 maxEntries=536870911
2026-11-07 08:30:30,040 INFO namenode.FSDirectory: USER serial map: bits=24 maxEntries=16777215
2026-11-07 08:30:30,040 INFO namenode.FSDirectory: GROUP serial map: bits=24 maxEntries=16777215
2026-11-07 08:30:30,040 INFO namenode.FSDirectory: XATTR serial map: bits=24 maxEntries=16777215
2026-11-07 08:30:30,048 INFO util.GSet: Computing capacity for map INodeMap
2026-11-07 08:30:30,048 INFO util.GSet: VM type       = 64-bit
2026-11-07 08:30:30,048 INFO util.GSet: 1.0% max memory 2.6 GB = 26.3 MB
2026-11-07 08:30:30,048 INFO util.GSet: capacity      = 2^22 = 4194304 entries
2026-11-07 08:30:30,052 INFO namenode.FSDirectory: ACLs enabled? false
2026-11-07 08:30:30,052 INFO namenode.FSDirectory: POSIX ACL inheritance enabled? true
2026-11-07 08:30:30,052 INFO namenode.FSDirectory: XAttrs enabled? true
2026-11-07 08:30:30,053 INFO namenode.NameNode: Caching file names occurring more than 10 times
2026-11-07 08:30:30,056 INFO snapshot.SnapshotManager: Loaded config captureOpenFiles: false, skipCaptureAccessTimeOnlyChange: false, snapshotDiffAllowSnapRootDescendant: true, maxS
napshotLimit: 65536
2026-11-07 08:30:30,058 INFO snapshot.SnapshotManager: SkipList is disabled
2026-11-07 08:30:30,060 INFO util.GSet: Computing capacity for map cachedBlocks
2026-11-07 08:30:30,060 INFO util.GSet: VM type       = 64-bit
2026-11-07 08:30:30,061 INFO util.GSet: 0.25% max memory 2.6 GB = 6.6 MB
2026-11-07 08:30:30,061 INFO util.GSet: capacity      = 2^20 = 1048576 entries
2026-11-07 08:30:30,067 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.window.num.buckets = 10
2026-11-07 08:30:30,067 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.num.users = 10
2026-11-07 08:30:30,067 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.windows.minutes = 1,5,25
2026-11-07 08:30:30,070 INFO namenode.FSNamesystem: Retry cache on namenode is enabled
2026-11-07 08:30:30,070 INFO namenode.FSNamesystem: Retry cache will use 0.03 of total heap and retry cache entry expiry time is 600000 millis
2026-11-07 08:30:30,072 INFO util.GSet: Computing capacity for map NameNodeRetryCache
2026-11-07 08:30:30,072 INFO util.GSet: VM type       = 64-bit
2026-11-07 08:30:30,072 INFO util.GSet: 0.029999999329447746% max memory 2.6 GB = 807.3 KB
2026-11-07 08:30:30,072 INFO util.GSet: capacity      = 2^17 = 131072 entries
2026-11-07 08:30:30,092 INFO namenode.FSImage: Allocated new BlockPoolId: BP-1181249797-172.19.0.3-1794040230086
2026-11-07 08:30:30,116 INFO common.Storage: Storage directory /data/hadoop/dfs/name has been successfully formatted.
2026-11-07 08:30:30,135 INFO namenode.FSImageFormatProtobuf: Saving image file /data/hadoop/dfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
2026-11-07 08:30:30,245 INFO namenode.FSImageFormatProtobuf: Image file /data/hadoop/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 399 bytes saved in 0 seconds .
2026-11-07 08:30:30,254 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
2026-11-07 08:30:30,272 INFO namenode.FSNamesystem: Stopping services started for active state
2026-11-07 08:30:30,273 INFO namenode.FSNamesystem: Stopping services started for standby state
2026-11-07 08:30:30,275 INFO namenode.FSImage: FSImageSaver clean checkpoint: txid=0 when meet shutdown.
2026-11-07 08:30:30,275 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at 324f15e33269/172.19.0.3
************************************************************/
[Format HDFS] succeed.

===============================================================================
*******************************************************************************
|
|   Start Zookeeper at Sat Nov  7 08:30:30 UTC 2026
|   Command: /opt/apache-zookeeper-3.7.2-bin/bin/zkServer.sh start
|
ZooKeeper JMX enabled by default
Using config: /opt/apache-zookeeper-3.7.2-bin/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[Start Zookeeper] succeed.

===============================================================================
*******************************************************************************
|
|   Start Hadoop at Sat Nov  7 08:30:31 UTC 2026
|   Command: /opt/hadoop-3.2.4/sbin/start-all.sh
|
Starting namenodes on [localhost]
localhost: Warning: Permanently added 'localhost' (ED25519) to the list of known hosts.
Starting datanodes
Starting secondary namenodes [324f15e33269]
324f15e33269: Warning: Permanently added '324f15e33269' (ED25519) to the list of known hosts.
Starting resourcemanager
Starting nodemanagers
[Start Hadoop] succeed.

===============================================================================
*******************************************************************************
|
|   Start History Server at Sat Nov  7 08:30:45 UTC 2026
|   Command: /opt/hadoop-3.2.4/sbin/start-historyserver.sh
|
WARNING: Use of this script to start the MR JobHistory daemon is deprecated.
WARNING: Attempting to execute replacement "mapred --daemon start" instead.
[Start History Server] succeed.

===============================================================================
*******************************************************************************
|
|   Start Hive metastore at Sat Nov  7 08:30:47 UTC 2026
|   Command: /opt/apache-hive-3.1.3-bin/bin/start-hivemetastore.sh
|
[Start Hive metastore] succeed.
Checking Check Hive metastore's status...
+
Check Check Hive metastore succeed.

===============================================================================
*******************************************************************************
|
|   Start Hive server at Sat Nov  7 08:30:57 UTC 2026
|   Command: /opt/apache-hive-3.1.3-bin/bin/start-hiveserver2.sh
|
[Start Hive server] succeed.
Checking Check Hive server's status...
+
Check Check Hive server succeed.

===============================================================================
*******************************************************************************
|
|   Prepare sample data at Sat Nov  7 08:31:18 UTC 2026
|   Command: /home/kylin/apache-kylin-5.0.2-bin/bin/sample.sh
|
Loading sample data into HDFS tmp path: /tmp/kylin/sample_cube/data
WARNING: log4j.properties is not found. HADOOP_CONF_DIR may be incomplete.
WARNING: log4j.properties is not found. HADOOP_CONF_DIR may be incomplete.
Going to create sample tables in hive to database SSB by hive
WARNING: log4j.properties is not found. HADOOP_CONF_DIR may be incomplete.
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/apache-hive-3.1.3-bin/lib/log4j-slf4j-impl-2.17.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop-3.2.4/share/hadoop/common/lib/slf4j-reload4j-1.7.35.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Hive Session ID = 492a2d10-b2b1-4f72-8c69-fc8b9ba77c6d

Logging initialized using configuration in jar:file:/opt/apache-hive-3.1.3-bin/lib/hive-common-3.1.3.jar!/hive-log4j2.properties Async: true
Hive Session ID = f14dfac9-cca1-4d3b-800e-601a2813fc4d
OK
Time taken: 0.801 seconds
WARNING: log4j.properties is not found. HADOOP_CONF_DIR may be incomplete.
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/apache-hive-3.1.3-bin/lib/log4j-slf4j-impl-2.17.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop-3.2.4/share/hadoop/common/lib/slf4j-reload4j-1.7.35.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Hive Session ID = 7dcbccc3-90e4-4755-8424-48ee31fd849e

Logging initialized using configuration in jar:file:/opt/apache-hive-3.1.3-bin/lib/hive-common-3.1.3.jar!/hive-log4j2.properties Async: true
Hive Session ID = 90d3e236-5257-42f9-9779-68185319a039
OK
Time taken: 0.512 seconds
OK
Time taken: 0.041 seconds
OK
Time taken: 0.131 seconds
OK
Time taken: 0.543 seconds
OK
Time taken: 0.063 seconds
OK
Time taken: 0.113 seconds
OK
Time taken: 0.039 seconds
OK
Time taken: 0.098 seconds
OK
Time taken: 0.035 seconds
OK
Time taken: 0.084 seconds
OK
Time taken: 0.039 seconds
OK
Time taken: 0.081 seconds
OK
Time taken: 0.037 seconds
OK
Time taken: 1.528 seconds
Loading data to table ssb.customer
OK
Time taken: 0.409 seconds
Loading data to table ssb.dates
OK
Time taken: 0.172 seconds
Loading data to table ssb.lineorder
OK
Time taken: 0.209 seconds
Loading data to table ssb.part
OK
Time taken: 0.194 seconds
|   Command: /home/kylin/apache-kylin-5.0.2-bin/bin/kylin.sh -v start
|
java is /usr/lib/jvm/java-8-openjdk-amd64/bin/java
Starting Kylin...
This user don't have permission to run crontab.
KYLIN_HOME is:/home/kylin/apache-kylin-5.0.2-bin
KYLIN_CONFIG_FILE is:/home/kylin/apache-kylin-5.0.2-bin/conf/kylin.properties
SPARK_HOME is:/home/kylin/apache-kylin-5.0.2-bin/spark
Retrieving hadoop config dir...
KYLIN_JVM_SETTINGS is -server -Xms1g -Xmx8g -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:G1HeapRegionSize=16m -XX:+PrintFlagsFinal -XX:+PrintReferenceGC -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -XX:+PrintAdaptiveSizePoli
cy -XX:+UnlockDiagnosticVMOptions -XX:+G1SummarizeConcMark  -Xloggc:/home/kylin/apache-kylin-5.0.2-bin/logs/kylin.gc.%p  -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=64M -XX:-OmitStackTraceInFastThrow -Dlog4j2.contextSelector=org
.apache.logging.log4j.core.async.AsyncLoggerContextSelector -DAsyncLogger.RingBufferSize=8192
KYLIN_DEBUG_SETTINGS is not set, will not enable remote debuging
KYLIN_LD_LIBRARY_SETTINGS is not set, it is okay unless you want to specify your own native path
SPARK_HDP_VERSION is set to 'hadoop'
Export SPARK_HOME to /home/kylin/apache-kylin-5.0.2-bin/spark
LD_PRELOAD= is:/home/kylin/apache-kylin-5.0.2-bin/server/libch.so
start with gluten
Checking Zookeeper role...
Checking Spark directory...
Kylin is starting. It may take a while. For status, please visit http://324f15e33269:7070/kylin/index.html.
You may also check status via: PID:5368, or Log: /home/kylin/apache-kylin-5.0.2-bin/logs/kylin.log.
[Start Kylin Instance] succeed.
Checking Check Env Script's status...
/home/kylin/apache-kylin-5.0.2-bin/bin/check-env-bypass
+
Check Check Env Script succeed.
Checking Kylin Instance's status...
0
-
0
-
0
-
0
-
0
-
0
-
0
-
0
-
0
-
1
+
Check Kylin Instance succeed.
Kylin service is already available for you to preview.

使用与验证

image

  • 标准流程:
  1. 等启动完成(Kylin + HDFS + YARN + Spark + ZooKeeper 全在一个容器里,首次启动通常 2~5 分钟):
docker logs --follow kylin5-standalone

看到 Kylin service is already available for you to preview. 即可(这是官方镜像的就绪提示),然后 Ctrl+C 退出日志。也可用 curl -I [http://localhost:7070/kylin](http://localhost:7070/kylin) 验证返回 200/302。

  1. 登录:用户名 ADMIN,密码 KYLIN(这是 Docker 镜像的固定初始口令;单机脚本安装才是随机密码,两者不要混淆)。首次登录后系统会要求改密码(≥8 位,含数字、字母、特殊字符)。

  2. 开始使用(页面内顺序):

    • Project:新建项目(或直接用内置示例项目);
    • Data Source:加载 Hive 表(镜像一般已预置 SSB 样例库,含 6 张表;若左侧看不到 SSB,进容器执行 bin/sample.sh 导入);
    • Model → New Model:在画布上选事实表/维度表、定义维度和度量;
    • Index:给模型加聚合索引(Aggregate Index),需要明细查询再加 Table Index;
    • Build:提交构建,在 Monitor 页看作业;
    • Insight:执行 SQL,用结果区的 Answered By 判断是否命中模型。
  3. 程序化接入(不进 UI 也能用):JDBC 连 jdbc:kylin://localhost:7070/<项目名>,驱动类 org.apache.kylin.jdbc.Driver,账号同上。

  • 三个实操提醒
  • 镜像仅支持 amd64,Apple Silicon 需要加 --platform linux/amd64(会走模拟,明显变慢);官方要求 Docker 至少分配 8GB 内存、6 核,-m 10G 是给容器内 Hadoop/Spark 留余量。
  • -e TZ=UTC 会影响构建分区边界与页面时间显示:如果数据是北京时间,建议改成 -e TZ=Asia/Shanghai(需镜像内有 tzdata,否则仍按 UTC 显示)。
  • 5.0.2-GA 镜像不含最新安全修复,官方明确只适合个人功能体验,不要用于生产或有真实数据的场景。

补充一句:如果页面里 HDFS/YARN 的跳转链接打不开,通常是容器内生成的 URL 用了容器 hostname 而非 localhost,把地址手动替换成 http://localhost:9870 / http://localhost:8088 即可。

Query

Insight

image

History

image

Data assets

Data Source (Columns Tab + Sample Data)

image

  • 添加数据源
    image
Internal Table

image

Model
  • Overview
    image

  • Features
    image

  • Segment
    image

  • Index/索引

image

  • Developers
    image

Monitor

Batch Job

image

Settings

image

Dashboard

image

管理员

Project 管理
User 管理

集群与读写分离部署

  • 集群模式:多个 Kylin 实例共享同一元数据库与 HDFS 目录,ZK 负责服务发现;构建作业统一提交 YARN。
  • 读写分离:Query Node 专门承载查询、Job Node 承载构建,避免大查询与构建争抢资源;Kylin 5 进一步拆分 query/job/meta 服务。
  • 若使用 Spark Standalone 或 Gluten,需按官方模板配置 kylin.storage.columnar.spark-conf.*(查询侧)与 kylin.engine.spark-conf.*(构建侧)的 master、Gluten jar、libch.so、LD_PRELOAD 等参数。

Windows 环境说明

  • 服务端:官方不支持 Windows 部署,需在 Linux(物理机/虚机/容器)上运行 Kylin 服务。
  • 客户端:Windows 侧可通过以下方式使用:
    1. 浏览器访问 Kylin Web UI(Chrome 45+);
    2. 使用 kylin-jdbc-*.jar 在 Java/BI 工具中连接:jdbc:kylin://<host>:7070/<project>,驱动类 org.apache.kylin.jdbc.Driver;
    3. Tableau / Power BI / Excel 等通过 JDBC(或历史版本的 ODBC)接入。
  • 本地开发调试可在 macOS 上启动(5.0.3 修复了带 Gluten 打包后的 macOS 启动问题),但性能与稳定性验证仍需在 Linux 集群完成。

关键操作

(1)端到端最小流程

步骤 操作位置 关键动作
1. 建项目 Web UI → Project 新建项目并授权用户/用户组
2. 加载数据源 Data Source 加载 Hive 库表(或配置 JDBC 源),可采样统计基数
3. 建模 Model → New Model 画布中设定事实表/维度表、Join 关系、维度、度量、计算列、分区列
4. 建索引 Model → Index 新建 Aggregate Index(配聚合组/必选/联合/层级维度)、Table Index(Shard/Sort Key)
5. 构建 Model → Build 选择数据范围提交构建;Monitor 页观察作业
6. 查询 Insight 执行 SQL,查看 Answered By 判断是否命中
7. 对外服务 Integration 下发 JDBC 连接串给 BI 工具

(2)查询示例(SSB 样例)

SELECT LO_PARTKEY, SUM(LO_REVENUE) AS TOTAL_REVENUE
FROM SSB.P_LINEORDER
WHERE LO_ORDERDATE BETWEEN '1993-06-01' AND '1994-06-01'
GROUP BY LO_PARTKEY
ORDER BY SUM(LO_REVENUE) DESC;

(3)JDBC 接入示例

Driver driver = (Driver) Class.forName("org.apache.kylin.jdbc.Driver").newInstance();

Properties info = new Properties();
info.put("user", "ADMIN");
info.put("password", "******");
// info.put("ssl", "true");                       // 走 HTTPS 端口时开启

Connection conn = driver.connect("jdbc:kylin://192.168.xx.xx:7070/kylin_project", info);
Statement st = conn.createStatement();
ResultSet rs = st.executeQuery("select * from SSB.P_LINEORDER limit 10");

JDBC 已知限制:Prepared Statement 场景不支持查询下推;动态参数不能跟 -(如 SUM(price - ?))、不能用于 case when,建议只在过滤条件中使用。

(4)内表与即席分析

  • 项目设置中开启 Internal Table 开关 → 在数据源表页面点"Create Internal Table" → 装载数据 → 可直接 SQL 查询(内表与普通表在查询层无差别)。
  • 内表适合"分析模型尚未固定"的探索场景;开启内表后 Snapshot 功能不可用。

(5)索引推荐与优化

  • 入口:Model → Recommendation / Index Optimization。
  • 输入:查询历史(Kylin 5 记录详细指标)+ 规则集;输出:新增/删除索引建议,可一键采纳或批量审查。

(6)REST API

  • 查询:POST /kylin/api/query(同步)、异步查询 API 适合长查询;模型构建、Segment 管理、元数据的导入导出、项目/用户 ACL 均有 OpenAPI。
  • 认证:Basic Auth(用户名/密码)或项目 Token。

运维要点

事项 建议
Segment 管理 开启自动合并(按时/日/周/月/季/年阈值),避免小文件拖垮 HDFS NameNode 与查询性能
垃圾清理 定期清理失效索引/旧 Segment 与 job_tmp,配置 crontab 表达式触发 GC
元数据备份 bin/metastore.sh backup 定期备份;升级前必须完整备份
查询调优 优先补索引(Aggregate/Table Index)、设置 Shard/Sort Key、开启查询缓存;用 Answered By 判断命中率
构建调优 调整 kylin.engine.spark-conf.* 资源参数、合并小 Segment、控制聚合组规模
升级 Kylin 4 → 5 元数据无法直接升级(官方明文),需按迁移指南重建对象;升级前先在测试环境演练
安全 启用 HTTPS(7443)、开启 ZK ACL、配置项目/列级 ACL、集成 Ranger;定期升级以覆盖安全修复

Z FAQ for Apache Kylin

Q: Apache Kylin 现在还活跃吗?会不会已经停止维护?

仍然维护中,但属于【成熟期】低频迭代。 依据 ASF 董事会 2026-08 报告,项目状态为 Ongoing,无董事会关注问题;最新版本 5.0.5 于 2026-07-13 发布,主要为安全与缺陷修复;同期有 1 名新 committer、1 名新 PMC 进入投票流程。但提交与 PR 数量长期处于低位,不宜按"高速演进"的项目来规划依赖。

Q: Kylin 5 必须部署整套 Hadoop 吗?

生产环境官方要求 Hadoop 3.2.1 + Hive + HDFS + YARN + ZooKeeper + 关系型元数据库。 Kylin 5 内置 Spark(download-spark-user.sh 下载),不必单独准备 Spark,但 HDFS/YARN/Hive/ZK 仍是硬依赖。

官方 Docker 镜像(apachekylin/apache-kylin-standalone)仅用于功能体验,不适合生产。

Q: Kylin 能在 Windows 上安装吗?

不能作为服务端安装。 官方支持矩阵为 Linux(Ubuntu 18.04+ / RHEL / CentOS)。Windows 只能作为客户端:浏览器访问 Web UI、或用 JDBC 驱动接入 BI 工具。若必须在 Windows 上体验,建议用 Docker/WSL 起 Linux 容器,但生产部署仍应使用 Linux。

Q: 查询报 no model found 或 no realization found 是什么原因?

说明查询没有命中任何模型/索引。 常见原因:

  1. GROUP BY 的列未定义为模型维度,或聚合函数未定义为度量;
  2. 事实表/维度表的 Join 关系与模型定义不一致(尤其 LEFT JOIN 与 INNER JOIN 混用);
  3. 明细查询缺少覆盖全部列的 Table Index;
  4. 查询时间范围超出已构建 Segment 覆盖范围。
    处理:补齐索引/维度后重建,或开启查询下推(kylin.query.pushdown-enabled=true)让 Spark SQL 兜底。

Q: 为什么开启下推后查询变慢了?

下推是现场计算,不做预聚合,且为保障一致性不使用查询缓存。

因此大表扫描会明显慢于命中索引。

下推只应作为长尾兜底;核心报表必须通过补充 Aggregate Index / Table Index 命中预计算。

Q: Kylin 4 的元数据能直接升级到 Kylin 5 吗?

不能直接升级。

5.0.2 的缺陷清单中明确记录"Kylin 4 元数据无法直接升级到 Kylin 5,迁移后仍需重建模型等对象"(KYLIN-6001);官方 Overview 也说明 4.0 → 5.0 的迁移工具未经充分测试。

建议:新集群部署 Kylin 5,按模型定义重建并重跑历史 Segment。

Q: 为什么 Kylin 4 最多支持 63 个维度?

因为 4.x 用 Long 型(64 位) 存储 Cuboid ID,其中 1 位被占用,剩余位即维度上限。

Kylin 5 重构了 Index 抽象,取消该限制,同时因为新索引机制可增删索引,不必为加维度而整体重建。

Q: 内表和快照(Snapshot)能同时用吗?

不能。 Kylin 5 开启内表功能后,Snapshot 快照表特性不再支持(官方 Internal Table 文档明确说明)。若业务强依赖维表快照一致性,需要在开启内表前评估。

Q: 为什么构建很慢、存储膨胀严重?

根因通常是索引设计过宽:

  • 维度过多导致 Cuboid 数量指数级增长(2^n-1);
  • 未设置 Mandatory/Joint/Hierarchy 维度与 Max Dimension Combination;
  • 聚合组划分过粗,长尾 Cuboid 无人查询却占存储;
  • Segment 过碎,元数据与小文件开销放大。
    优化手段:用聚合组裁剪组合、开启索引推荐剔除低收益索引、合并 Segment、按需构建 Table Index 而非全量明细索引。

Q: Kylin 支持实时数据分析吗?

支持有限实时。 Kylin 5 新增 Kafka 流式数据源与 Fusion Model,可实现流批融合分析,把延迟压到秒~分钟级;但它不是"任意更新实时可见"的实时数仓,高频更新的点查场景仍应交给 Doris/StarRocks/ClickHouse。

Q: 首次登录 ADMIN 密码是多少?

Kylin 5 不再使用固定的 ADMIN/KYLIN。首次启动时,控制台会打印 ADMIN 的随机初始密码;若遗失,可用官方"ADMIN 用户重置密码"流程处理。首次登录后必须按规则修改密码(≥8 位,含数字、字母、特殊字符)。

Q: Kylin 和 Doris/StarRocks 怎么选?

  • 选 Kylin:口径稳定的 BI 报表/看板、PB 级历史数据、要求高并发与低资源波动的场景,且数据已沉淀在 Hive/HDFS。
  • 选 Doris/StarRocks:需要"一份存储同时支撑报表 + 即席 + 点查"、要求秒级数据可见、运维团队偏云原生/MPP 经验。
  • 共存:用 Kylin 做重预计算的报表加速层,用 MPP 承接明细/即席与实时链路,是存量 Hadoop 体系常见的务实组合。

Q: Kylin 5 的 Gluten 一定要开启吗?

不是强制,但内表功能依赖 Gluten(官方部署文档说明 Gluten 为内表特性所必需,默认开启)。若只使用传统模型预计算,可不启用 Gluten;启用后模型与内表查询都能获得向量化收益(官方称较原生 Spark 提升 2~4 倍),但需要额外配置 libch.so、LD_PRELOAD、Gluten jar 等运行环境,复杂度上升。

Q: kylin 基于 hive 预聚合的数据(Cuboid / Index)是存放在哪里的? HDFS

以 Kylin 5.0.5 官方文档为依据回答:

  • 结论:存在 HDFS 上,不是 Hive 表,5.x 也不再是 HBase。
存储对象 位置 说明
预计算索引数据(Cuboid、Table Index 明细索引、字典、快照) HDFS,kylin.env.hdfs-working-dir 下(默认 /kylin),按 metadata 路径建子目录,如 /kylin/kylin_metadata 官方配置文档明确:该目录是“Kylin 实例在 HDFS 上的工作路径”,默认 /kylin,并以元数据路径名作为子目录;垃圾清理项里列的过期对象正是“过期索引、过期快照、过期字典”
元数据(项目/模型/索引定义、Segment 状态、任务历史) 关系型数据库(PostgreSQL 或 MySQL),由 kylin.metadata.url 指定 与数据文件分离,元数据不会放 HDFS
内表数据(Storage V3) 也在 HDFS;采用 Gluten MergeTree 格式,ClickHouse 侧元数据落本地磁盘(默认 /tmp/ch_metadata_kylin) 官方 Overview:“use Gluten mergetree as the default storage format of internal table”;Gluten 配置里 disks.hdfs.endpoint 指向 HDFS

版本演进(这是常被混淆的点):

版本 预计算数据存储
Kylin 1.x–3.x HBase(rowkey = Cuboid ID + 维度组合)
Kylin 4.x 起 改为 HDFS 上的列式文件(Parquet),去掉 HBase 依赖
Kylin 5.x 仍以 HDFS 为底座;新增【内表】,默认 Gluten MergeTree 格式;模型索引与内表查询都能吃到 Gluten 加速

对你的 Docker 环境:数据在容器内的 HDFS(/kylin 目录),元数据在容器内 MySQL 的 kylin 库。所以 docker rm 之后,Cube、内表、元数据会一起消失——想留存必须挂载数据卷或把元数据库外置。

Q: 外部数据源只支持 Hive 吗?是的,但 5.0 开始支持 Kafka 作为流式数据源

以 Kylin 5.0.5 官方文档为依据回答:

官方口径:是,外部数据源目前只有 Hive;但 5.0 额外支持 Kafka 作为流式数据源。

类型 是否支持 说明
Hive ✅ 唯一正式外部数据源 5.0.5 文档 FAQ 原文:“Kylin current only supports Hive”;Hive 的 Map/Array/Struct/Binary 列会被跳过,含 UDF 的 Hive 3 视图不支持;ACID 表需额外开 kylin.build.resource.read-transactional-table-enabled=true
Kafka(流式) ✅ 5.0 新增 作为模型构建的流式数据源,支持流批融合模型,实现 T+0
内表(Internal Table) ✅ 5.0 新增 不是“数据源”,而是 Kylin 自己托管数据与元数据的表;数据从源表导入,导入后查询与源表同名一体
逻辑视图(Logical View) ✅ 对已有 Hive 表做 SQL 层封装,不是新数据源
JDBC / ODBC ✅ 但只是查询接口 对外提供 SQL 接入,不能反向当数据源用
Iceberg / Hudi / Paimon ❌ 非一等公民 官方未列为数据源;只有在 Hive Metastore 里注册成 Hive 表时才可能被“间接”加载,且未经验证,不建议生产依赖
早期版本的 JDBC 数据源 已收敛 2.x/3.x 曾提供 JDBC 数据源(多用于维表),4.x 之后官方文档只保留 Hive

选型建议:Kylin 的定位是“Hive 之上的加速层”——先把数据落到 Hive(或湖格式映射成 Hive 表),再让 Kylin 建模型/索引;要查明细或探索式分析,则把表导成内表走 Gluten。脱离 Hive 谈 Kylin 数据源,实际只有 Kafka 这一条流式补充路径。


Y 推荐文献

  • Apache Kylin

1.5k fork / 3.8k star | 2026-11-07


X 参考文献

官方文档与项目资源

社区治理与路线图

竞品与对比

数据抓取

  • GitHub 仓库元数据(Stars/Forks/最近推送):apache/kylin、apache/doris、StarRocks/starrocks、ClickHouse/ClickHouse、apache/druid、trinodb/trino,抓取于 2026-11-07(经 ungh.cc 镜像接口读取)。
posted @ 2026-11-07 17:17  千千寰宇  阅读(22)  评论(0)    收藏  举报