[OLAP/数据库/HDFS] Apache Kylin(5):用空间换时间,以预计算换亚秒延迟的 PB 级 OLAP 引擎 | 基于“Hive 之上的加速层” + 额外支持 Kafka 流式数据源
0 序
-
调研对象:Apache Kylin
-
调研基准版本:Kylin 5.0.5(2026-07-13 发布)
-
调研时间:2026-11-07
-
资料来源:Apache Kylin 官方文档(5.0.5)、ASF 董事会 Kylin 季度报告、Kylin 官方博客/Roadmap、GitHub 仓库元数据
1 概述
产品介绍
- 产品定位:Apache Kylin 是面向大数据平台的开源分布式分析型数据仓库 / OLAP 引擎,以"预计算(Pre-computation)+ 多维模型"为核心手段,在 PB 级数据集上提供标准 SQL 接口、亚秒级查询延迟与高并发能力,并通过 JDBC/REST/BI 工具对外服务。
- 诞生的背景与原因:
- Kylin 由 eBay 于 2014 年创建并开源,2015 年成为 Apache 顶级项目(TLP)。
- 早期 Hadoop 生态的交互式分析主要依赖 Hive/MapReduce,报表查询动辄数分钟到数小时,无法支撑电商场景下的高并发看板与多维钻取。
- 其思路是用空间换时间:把"【维度组合 + 度量】"的聚合结果在离线阶段预先物化为 Cuboid(预计算索引),查询时直接命中索引文件,从而把查询复杂度与数据总量"解耦"。
- 解决的核心问题:
- 海量数据(十亿~万亿行)上的交互式多维分析延迟问题;
- 高并发报表/看板场景下的查询稳定性与资源可控问题;
- Hadoop 数据与 BI 工具(Tableau、Power BI、Excel、Superset 等)之间的标准 SQL 接入问题。
- URLs:
基本信息
| 项目 | 内容 |
|---|---|
| 项目全称 | Apache Kylin(TLP,2015-11-18 成立) |
| 技术定位 | 预计算型 MOLAP / 分析型数据仓库(Hadoop/Spark 之上) |
| 主要语言 | Java(查询/元数据/服务端)+ Spark(构建与执行) |
| 开源许可 | Apache License 2.0 |
| 默认开发分支 | kylin5 |
| 最新版本 | v5.0.5(2026-07-13) |
| GitHub 规模 (2026-11 抓取) |
Stars 3,784;Forks 1,503;Watchers 254;最近推送 2026-10-19 |
| 社区成员 (2026-08 董事会报告) |
52 名 committer、23 名 PMC |
| ASF 项目状态 | Ongoing(2026-08 报告:无董事会关注问题) |
发展历程
| 时间 | 版本/事件 | 关键意义 |
|---|---|---|
| 2013 | eBay 内部孵化 | 为解决电商海量数据的交互式分析而生 |
| 2014 | 对外开源 | 成为 Hadoop 生态中"预计算 OLAP"的代表实现 |
| 2015-11-18 | 成为 Apache 顶级项目 | 进入 ASF 治理体系,社区化运营 |
| 至 2020-05-19 | 1.x / 2.x 系列(末位版本 2.6.6) | 完善 Cube 构建、HBase 存储、Cube Planner、流式构建(Kafka)等能力 |
| 至 2022-01-05 | 3.x 系列(末位版本 3.1.3) | 引入实时/流批一体(Lambda)、查询下推、细粒度 ACL |
| 2020-07 | 4.0.0-alpha | 架构重构:HBase → Parquet,Spark 统一构建与查询引擎 |
| 2021-08 | 4.0.0 GA | 存储计算解耦、云上部署友好、去掉 HBase 依赖 |
| 2022-12-23 | 4.0.3 | 4.x 稳定版主线 |
| 2023-04-26 / 2023-08-30 | 5.0.0-alpha / beta | 元数据重构、Index/Layout 抽象、可计算列等 |
| 2024-01-28 | 4.0.4 | 4.x 末位维护版本 |
| 2024-09-27 | 5.0.0 GA | 内表、模型/索引推荐、Gluten 原生引擎、Kafka 流式源 |
| 2025-03-31 | 5.0.2 | 内表网站化、内表缓存预加载、安全缺陷集中修复 |
| 2025-09-19 | 5.0.3 | 内表 DML 解析、逻辑视图修复、macOS 本地启动修复 |
| 2026-07-13 | 5.0.5(最新) | 内表稳定性、SQL 语义修复、权限校验加固 |
| 2026 年内 | 5.1 规划 / MCP 原型 | 向 AI 工具链(MCP)、指标语义方向探索 |
演进主线可以概括为三次跃迁:
- HBase 时代(1.x–3.x):预计算 + HBase Coprocessor 聚合,性能强但依赖重、云上不友好、维度上限 63。
- Parquet + Spark 时代(4.x):存储改为 Parquet(HDFS/S3/OSS 均可),构建与查询统一用 Spark,去掉 HBase,实现存储计算解耦。
- 多引擎 + 内表 + 智能化(5.x):元数据从 KV 重构为结构化 RDBMS,抽象 Index/Layout,引入内表与 Gluten-ClickHouse 原生引擎,增加模型/索引推荐与流批融合模型。
主要功能(必读)
| 能力域 | 具体能力 | 说明 |
|---|---|---|
| 数据接入 | Hive 表、JDBC 数据源、CSV、Kafka 流、逻辑视图(Logical View) | 以 Hive 为主路径;Kylin 5 支持 JDBC 源与逻辑视图 |
| 建模 | 星型/雪花模型、画布式建模、计算列(Computed Column)、SCD2 拉链表、Runtime Join、多级分区 | 模型 = 模型设计 + 索引设计 + 数据加载三部分 |
| 索引 | 聚合索引(Aggregate Index / Cube)、明细索引(Table Index)、Layout(Shard Key / Sort Key)、Index Plan | Kylin 5 支持按索引粒度增删与刷新,不再受 63 维限制 |
| 智能建模 | 基于 SQL 文本建模、基于查询历史的索引推荐与索引优化 | 降低建模门槛,自动剔除冗余索引 |
| 构建与运维 | Segment 增量构建/刷新/合并(手工 + 自动分层合并)、作业监控、告警、诊断包、垃圾清理 | 自动合并按 时/日/周/月/季/年 六级阈值 |
| 查询 | 标准 SQL、Insight 查询页、异步查询、查询缓存、查询下推(Spark SQL) | 未命中模型时默认走下推引擎 |
| 内表与原生引擎 | Internal Table(Kylin 自管数据)、Gluten-ClickHouse 后端、ClickHouse 分层存储(可选) | 面向湖仓/即席分析与明细查询 |
| 流批融合 | Kafka 流式源、Fusion Model | 把分析延迟压到秒~分钟级,并与批量数据融合分析 |
| 接口与集成 | REST API(OpenAPI)、JDBC 驱动、BI 工具对接、用户委派(Execute As User) | JDBC URL:jdbc:kylin://host:7070/project |
| 安全与多租户 | 项目隔离、项目/列级 ACL、用户组、Ranger 集成、LDAP/SSO(历史版本) | 企业级权限体系 |
| 高可用部署 | 单机、集群、读写分离(Query Node / Job 分离) | 5.x 进一步拆分 query/job/meta 服务 |
核心优势(必读)
- 预计算带来的"确定性"低延迟:命中 Cuboid 后无需扫描全量数据,延迟与数据量基本解耦,适合 PB 级历史数据的稳定亚秒响应。
- 高并发下的资源可控:查询主要是索引文件扫描 + 轻量聚合,比"每次全表扫描"的 MPP 引擎更容易在固定资源下支撑高 QPS。
- 与 Hadoop/数仓体系天然贴合:直接消费 Hive 表,复用 HDFS/YARN/ZooKeeper,无需把数据再搬一份到独立的 MPP 存储。
- 存储格式开放:Kylin 4 起以 Parquet 落盘,可直接被 Spark/Hive/Impala 读取,也便于向对象存储(S3/OSS)扩展。
- Kylin 5 明显降低了使用门槛:模型与 Cube 合并为 Model、引入 Index/Layout 抽象、支持 SQL 导入建模与索引推荐,缓解了 4.x"改维度就要重建 Cube"的痛点。
- 明细与即席短板被补足:Table Index 加速明细过滤,Internal Table + Gluten 让"未预定义"的探索式查询也能在 Kylin 内完成。
- 企业级配套完整:多项目隔离、ACL、读写分离、作业诊断、审计日志、监控指标在开源版中均具备。
主要短板(必读)
| 短板 | 具体表现 | 影响 |
|---|---|---|
| 预计算成本高 | 维度组合数随维度指数增长(2^n-1),构建需消耗大量 Spark/YARN 资源与存储 | 维度设计不当会导致"构建比查询还贵" |
| 数据时效受限 | 批处理为主,流式仅覆盖 Kafka 源与 Fusion Model,仍非"任意更新实时可见" | 不适合高频更新、强实时的明细查询 |
| 架构依赖重 | 需要 Hadoop 3.2.1 + Hive + HDFS + YARN + ZooKeeper + 关系型元数据库 + Spark | 小数据量或纯云原生团队落地成本偏高 |
| 运维与调优门槛高 | 需同时理解 Spark 资源、Cube/索引设计、Segment 管理、元数据与 GC | 对 DBA/大数据运维的经验要求高 |
| 明细/点查能力先天偏弱 | 明细依赖 Table Index 或内表,点查、宽表导出不是强项 | 与 Doris/StarRocks 的"万能"定位有差距 |
| 社区活跃度偏低 | 近年提交/PR 数量处于低位(2024Q4 19 commits、2025Q1 90 commits、2025Q3 10 个 JIRA) | 缺陷修复与新特性节奏慢,遇到冷门问题需自助排查 |
| 文档与资料断层 | 大量教程仍停留在 Kylin 3.x/4.x(部分页面 2022 年最后更新) | 5.x 新特性(内表、Gluten、推荐)资料相对薄 |
| 商业支持集中 | 主要商业支持来自 Kyligence(Kylin 创始团队创立) | 开源版企业级 SLA 需自行承担 |
局限性(必读)
- 维度与索引边界:Kylin 4.x 受 Cuboid ID 用 Long 存储限制,最多 63 个维度;Kylin 5 通过新的 Index 抽象取消了该限制(见 Roadmap)。
- 部署边界:服务端生产环境为 Linux(官方推荐 Ubuntu 18.04+ / RHEL 6.4+ / CentOS 6.4+,JDK 8);Windows 不作为服务端受支持平台(客户端/BI 侧支持 Windows)。Kylin 5.0.3 起修复了 macOS 本地启动问题,但仅适合开发调试。
- 元数据升级边界:官方明确 Kylin 4 的元数据无法直接升级到 Kylin 5(KYLIN-6001),迁移工具未被充分测试,迁移后仍需重建模型等对象。
- 功能互斥:Kylin 5 开启内表功能后,不再支持 Snapshot 快照表。
- 查询语义边界:未命中模型时报
no model found/no realization found;开启下推后改由 Spark SQL 兜底,但下推查询无法使用查询缓存,且Prepared Statement场景不支持下推。 - 数据源边界:以 Hive 为主(Kylin 4 的数据源仅 Hive/CSV,Kylin 5 增加 JDBC、Kafka、逻辑视图),尚不支持 Iceberg/Hudi/Paimon 等湖表格式作为一等公民数据源。
适用场景(必读)
| 场景 | 匹配度 | 原因 |
|---|---|---|
| 固定口径的 BI 报表 / 大屏看板加速 | ★★★★★ | 查询模式稳定,预计算命中率高,亚秒响应 |
| 高并发多维钻取(年/月/日、品类、地区) | ★★★★★ | Cuboid 命中后资源开销小,QPS 易扩展 |
| PB 级历史数据的周期性分析 | ★★★★☆ | Parquet + HDFS 成本可控,按分区增量构建 |
| 数据仓库/湖上的"半即席"探索 | ★★★☆☆ | 内表 + Gluten 可支撑,但灵活度弱于 MPP |
| 秒级实时指标(订单、流量监控) | ★★☆☆☆ | 需 Kafka + Fusion Model,链路与运维成本高 |
| 点查、明细导出、宽表随机检索 | ★★☆☆☆ | 非架构强项,建议交给 Doris/StarRocks/ClickHouse |
| 小数据量(GB 级)快速分析 | ★☆☆☆☆ | 架构与运维成本远大于收益 |
同类竞品(必读)
定位与社区规模对比
GitHub 数据抓取于 2026-11-07
| 产品 | 技术路线 | 数据新鲜度 | Stars | Forks | 相对定位 |
|---|---|---|---|---|---|
| Apache Kylin | 预计算 MOLAP(Parquet + Spark/Gluten) | 批为主,流式为辅 | 3,784 | 1,503 | 固定口径、高并发、超大规模 |
| Apache Doris | MPP + 预聚合物化视图 | 实时(秒级导入可见) | 16,190 | 4,016 | 统一数仓,报表 + 即席 + 点查 |
| StarRocks | MPP + 向量化 + 物化视图 | 实时 | 12,241 | 2,654 | 极速查询 + 湖仓分析 |
| ClickHouse | 列存 MPP | 准实时 | 50,769 | 9,226 | 单表/宽表极速聚合 |
| Apache Trino(PrestoSQL) | 分布式查询引擎(无自有存储,Connector 联邦) | 取决于底层存储(湖表通常分钟级) | 13,475 | 3,856 | 跨源联邦、湖上查询网关 |
| Apache Druid | 实时时序列存 | 实时 | 14,094 | 3,813 | 时序、事件流、可观测 |
| Apache Hive / Spark SQL | 批处理 SQL | 批(分钟~小时) | — | — | 离线数仓底座(非 OLAP 加速) |
说明:Stars/Forks 为社区规模的代理指标,不等于市场占有率;中标" — "表示非单一可比仓库,未做同类统计。Trino 与 Kylin/Doris 并非同层产品——它只负责"算"、不负责"存",因此其分数按"独立查询入口"的视角给出,不与其存储引擎叠加。
能力维度主观评分
(1–5 分,越高越优,基于公开资料与本报告判断)
| 维度 | Kylin | Doris | StarRocks | ClickHouse | Trino(PrestoSQL) |
|---|---|---|---|---|---|
| 【固定报表】的亚秒延迟 | 5 | 4 | 5 | 5 | 2 |
| 【超高并发】的稳定性 | 5 | 4 | 4 | 4 | 3 |
| 即席/Ad-hoc 灵活度 | 2 | 4 | 5 | 4 | 5 |
| 明细与点查 | 2 | 4 | 4 | 3 | 2 |
| 数据实时性 | 2 | 5 | 5 | 4 | 3 |
| 预计算/索引自动化 | 4(Kylin 5 推荐) | 3 | 4 | 2 | 2 |
| 部署与运维简易度 | 2 | 4 | 4 | 4 | 3 |
| 与 Hadoop/Hive 生态耦合 | 5 | 3 | 3 | 2 | 5 |
| 社区活跃度(规模代理) | 2 | 5 | 4 | 5 | 4 |
| 合计 (满分45/等权加总) |
29 | 36 | 38 | 33 | 29 |
Trino 打分依据:① 现场计算、无预聚合,交互延迟通常在秒级(2 分);② 每次查询占用多 Worker,高并发靠 Resource Group 排队,成本高(3 分);③ 无模型约束、全 ANSI SQL,Ad-hoc 灵活度最高(5 分);④ 点查需走分布式计划(2 分);⑤ 新鲜度由底层表/Connector 决定(3 分);⑥ 无原生自动预计算(2 分);⑦ 无状态易部署,但 Connector/内存/队列调优费心(3 分);⑧ Hive/Hadoop Connector 为一等公民(5 分);⑨ 13,475 Stars(4 分)。合计为等权加总,仅作相对参考,不能替代真实压测。
选型建议(决策路径)
发展趋势
(1)开源社区活跃趋势(依据 ASF 董事会季度报告)
| 时间 | 发布节奏 | 活跃度指标 | 社区动作 |
|---|---|---|---|
| 2024-11 | 5.0.0 GA(2024-09-27) | 19 commits(-81%)、7 contributors、21 PR | 新增 4 名 committer |
| 2025-05 | 5.0.2(2025-03-31) | 90 commits(+400%)、18 contributors、84 PR | 安全缺陷集中收口 |
| 2025-08 | 5.0.3 筹备 | 编码活动低位,1~2 个 bugfix | 与 Gluten 社区联动测试(用户反馈 v5 较 v4 提升 4~5 倍) |
| 2025-11 | 5.0.3(2025-09 发布) | dev@ 22 封、issues@ 116 封、10 个 JIRA | 5.1 转向 AI 工具集成(MCP) |
| 2026-03 | — | MCP 原型托管在个人仓库 | LLM 探索表元数据并自然语言执行 SQL |
| 2026-05 | — | 安全 issue 修复中 | 探索与 OpenClaw 集成、筹备新 PMC |
| 2026-08 | 5.0.4/5.0.5 安全修复(2026-07-13) | 1 名新 committer、1 名新 PMC 投票中 | 计划增加"预计算加速率展示"、指标语义加速 |
(2)Star / Fork 趋势判断
- 现状:3,784 Stars / 1,503 Forks,Fork/Star 比约 0.40,属于"被大量二次开发/私有化部署"的典型形态(对比 Doris 0.25、StarRocks 0.22、ClickHouse 0.18)。
- 横向对比:Kylin 的 Stars 仅为 Doris 的约 23%、ClickHouse 的约 7.5%,说明其在"新项目选型"中的声量已明显落后于新一代 MPP 引擎。
- 纵向判断:项目仍有稳定的小版本发布(2024 GA → 2025 两次 → 2026 安全版),但提交曲线呈"发布前冲高、发布后回落"的脉冲式,属于成熟期维护型项目,而非高速增长期项目。
(3)技术趋势
- 从"纯预计算"走向"预计算 + 内表 + 原生引擎"混合架构:承认预计算覆盖不了长尾查询,用 Internal Table 承接即席分析,用 Gluten(ClickHouse 后端)提升 2~4 倍执行性能。
- 从"人工建模"走向"推荐式建模":SQL 导入建模 + 查询历史驱动的索引推荐 + Index Plan,正面回应 MPP 引擎"零建模成本"的竞争压力。
- 从"单机组件"走向"微服务化 / 云原生":5.x 已将 query/job/meta 服务拆分,支持读写分离与独立扩缩容;官方 Roadmap 明确 K8s + 对象存储 + 外部元数据服务的方向。
- 向 AI 与语义层靠拢:MCP 原型、指标语义(metric semantics)加速、自然语言查询,是社区为"Data + AI"寻找新增量的尝试。
小结:Apache Kylin 仍是"预计算 OLAP"这一技术路线最完整的开源实现,但技术叙事的主导权已转移到实时 MPP 与湖仓一体;其未来价值更多体现在"存量 Hadoop 数仓的查询加速层"与"Kylin 5 内表/原生引擎带来的场景延展",而非重新夺回新项目首选地位。
2 工作原理与架构
概念术语
| 术语 | 含义 | 备注 |
|---|---|---|
| Model(模型) | Kylin 5 的核心对象,包含模型设计、索引设计、数据加载三部分 | 5.x 中 Model 与 Cube 合并,不再单独建 Cube |
| Dimension(维度) | 观察数据的视角,如商品类目、订单日期、地区 | 分组/过滤的依据 |
| Measure(度量) | 聚合指标,如 GMV、订单数、UV | 支持 SUM/COUNT/COUNT DISTINCT(Bitmap/HLLC)/TOP-N/PERCENTILE_APPROX 等 |
| Cuboid | 某一维度组合下的预聚合结果 | 全部组合数 = 2^n-1,是"维度灾难"的根源 |
| Aggregate Index(聚合索引/Cube) | 由多个 Cuboid 组成的预计算集合 | Kylin 的传统加速主力 |
| Table Index(明细索引) | 对(部分)平表物化,并按 Shard/Sort Key 组织,用于明细查询 | Kylin 5 新增,补足明细短板 |
| Layout | 同一 Index 的不同数据组织形态(Shard Key、Sort Key) | 让同一索引适配不同查询特征 |
| Index Plan | 依据模型设计与规则生成/维护索引的计划对象 | 支撑模型变更后的索引自动增删与代价优化 |
| Aggregation Group(聚合组) | 维度组合的分组约束,用于裁剪 Cuboid 数量 | 配合 Mandatory / Joint / Hierarchy 维度使用 |
| Mandatory Dimension | 必选维度:只计算包含该维度的 Cuboid | 大幅减少组合数 |
| Joint Dimension | 联合维度:多个维度视为一个整体出现 | 应对"总是一起查询"的维度 |
| Hierarchy Dimension | 层级维度:年→月→日 等父子关系,按层级裁剪组合 | 支撑钻取 |
| Segment(数据分段) | 一个模型下按分区范围切分的数据段,是构建/刷新/合并的最小单位 | 状态含 ONLINE / WARNING / LOCKED / LOADING / REFRESHING / MERGING |
| Partition(分区) | 时间分区列 + 可选二级分区(如业务线) | 决定 Segment 的切分粒度 |
| Computed Column(计算列) | 在模型中预定义表达式,把轻量 ETL 前移到预计算阶段 | Kylin 5 重要易用性改进 |
| Global Dictionary | 全局字典,为高基数维度编码 | Kylin 4 起重构实现,5.x 支持 V3 字典文件自动合并 |
| Internal Table(内表) | 由 Kylin 直接管理数据与元数据的表 | 默认使用 Gluten MergeTree 存储格式 |
| Fusion Model(融合模型) | 流批融合模型,Kafka 流式数据与批量数据共同服务查询 | 把延迟压到秒~分钟 |
| Snapshot(快照表) | 维度表快照,保证维表与事实表的一致性 | 5.x 开启内表后不再支持 |
| Pushdown(下推) | 未命中模型的查询路由到 Spark SQL 执行 | 新项目默认开启,但不走查询缓存 |
| Answered By | 查询实际命中的模型/数据源标识 | 排障核心字段:模型名 或 HIVE |
架构与运行原理
总体架构(Kylin 5)
各层职责
| 层 | 组件 | 关键职责 |
|---|---|---|
| 接入层 | Web UI、REST、JDBC | 统一入口;JDBC 兼容 BI 生态,支持用户委派(Execute As User) |
| 服务层 | Query / Metadata / Job 服务 | SQL 解析(Calcite)、模型匹配与代价选择、元数据事务、作业调度;5.x 已支持服务拆分与读写分离 |
| 计算层 | Spark、Gluten、Pushdown | 构建作业与查询执行;Gluten 提供向量化 + 列存后端;下推负责兜底长尾查询 |
| 存储层 | Parquet、内表文件、RDBMS、ZK | 预计算数据落盘;元数据集中存储与审计;ZK 负责服务发现/协调 |
Kylin 4 → Kylin 5 的架构演进
| 维度 | Kylin 4.x | Kylin 5.x | 变化影响 |
|---|---|---|---|
| 存储引擎 | HBase(3.x)/ Parquet(4.x) | Parquet + 内表 Gluten MergeTree(可选 ClickHouse 分层存储) | 云上友好、格式开放、支持明细 |
| 计算引擎 | Spark(构建+查询统一,Sparder 常驻) | Spark + Gluten-ClickHouse | 官方称较原生 Spark 提升 2~4 倍 |
| 元数据 | KV 结构(HBase/MySQL),带项目锁与 Epoch | 结构化 RDBMS(PostgreSQL 默认 / MySQL),去锁去 Epoch | 并发能力与事务性能显著提升 |
| 建模对象 | Model + Cube 两级 | Model + Index + Layout + IndexPlan 一级 | 可增删维度/索引,不必整体重建 |
| 维度上限 | 63(Long 型 Cuboid ID) | 取消 | 高维场景可用 |
| 明细查询 | 弱(依赖 Snapshot/下推) | Table Index + Internal Table | 明显补强 |
| 快照 | 支持 Snapshot 表 | 开启内表后不支持 Snapshot | 功能互斥,需注意 |
| 部署形态 | 单机/集群/读写分离 | 增加服务拆分(query/job/meta),面向 K8s | 弹性扩缩容 |
预计算原理:Cube 与 Cuboid
Kylin 的核心是多维立方体:
- 设模型有 n 个维度,则理论上可产生
2^n - 1个 Cuboid(每个 Cuboid 是某维度组合下的度量聚合结果)。例如 3 个维度有 7 个 Cuboid,10 个维度就有 1023 个——这就是"维度灾难"。 - 为控制爆炸,Kylin 用 Aggregation Group 把维度分组,并配合 Mandatory(必选)/ Joint(联合)/ Hierarchy(层级) 维度裁剪组合,同时用
Max Dimension Combination限制单组最大组合维度数。 - 构建时:源表 → 平表(Flat Table,宽表化 Join)→ 按聚合组生成 Cuboid → 按维度编码(字典编码、整数编码、定长编码)→ 以 Parquet 文件按
model/segment/cuboid/part-*.parquet目录落盘。 - 度量支持精确与近似两类:
COUNT DISTINCT可用 Bitmap(精确、可交并)或 HLLC(近似、省空间);TOP-N、PERCENTILE_APPROX属于近似聚合。
预计算与查询的关系
查询执行原理
Kylin 的查询不是"现场计算",而是"索引替换 + 增量计算":
- 解析 SQL:Calcite 解析语句,抽取所有
FROM子句。 - 模型匹配:为每个
FROM子句寻找匹配且代价最小的模型:- 表关系必须与模型中定义的事实表/维度表关系一致(
LEFT JOIN不等于INNER JOIN,不能混用); - 聚合查询:
GROUP BY列必须是模型维度,聚合函数必须是模型度量; - 非聚合(明细)查询:必须存在 Table Index,且查询涉及的列被该索引覆盖。
- 表关系必须与模型中定义的事实表/维度表关系一致(
- 代价选择:多个索引命中时选择代价最小者;Table Index 也能回答聚合查询,但需现场计算,代价高,属于最后选择。
- 索引执行:把
FROM中的表替换为预计算结果,再执行剩余计算,返回结果;Web UI 的 Answered By 会显示命中的模型名。 - 兜底下推:若存在无法匹配的
FROM子句,默认路由到 Spark SQL 下推引擎;若关闭下推则报no model found/no realization found。
查询路径
元数据、调度与高可用
- 元数据:Kylin 5 使用 PostgreSQL(默认,随包提供 10.7)或 MySQL(5.1–5.7,推荐 5.7)存储结构化元数据,并新增元数据审计日志用于审计、调试与节点间缓存同步;元数据同步从"广播"改为"基于变更信息的主动同步"。
- 调度:Job Service 负责任务编排(构建、刷新、合并、清理、诊断),支持优先级、并发限制、失败重试;Spark 作业默认提交到 YARN 队列(
kylin.engine.spark-conf.spark.yarn.queue)。 - 高可用:支持集群部署与读写分离;ZooKeeper 提供服务发现(
kylin.env.zookeeper-connect-string),可开启 ACL。 - 可观测:作业详情/诊断包(含 Spark 火焰图)、系统日志、审计日志、查询历史(Kylin 5 记录 Kylin/Spark 侧指标,为索引优化提供输入)、InfluxDB 监控集成(可选)。
存储布局(以 4.x 为参照,5.x 延续该思路)
/kylin/kylin_metadata/<project>/
├── job_tmp/ # 构建过程临时文件
├── parquet/ # 各 Cube/Model 的 Cuboid 数据
│ └── <model>/<segment>/<cuboid>/part-*.snappy.parquet
└── table_snapshot/ # 维度表快照(5.x 开内表后不再使用)
- 目录结构即"分区裁剪"的依据:查询可先按 model/segment 过滤,再按 cuboid 选择最小组合,避免扫描无关文件。
- 内表数据以 Gluten MergeTree 格式存放,支持分区内文件合并、增量装载与预缓存。
3 使用指南
环境与前置条件
| 项目 | 要求(Kylin 5.0.5) |
|---|---|
| 操作系统(服务端) | Linux:Ubuntu 18.04+(推荐 LTS)/ RHEL 6.4+ / CentOS 6.4+;生产建议专用 Hadoop 客户端节点 |
| JDK | JDK 8(1.8_162 及以上) |
| Hadoop | Apache Hadoop 3.2.1(需 HDFS、YARN、Hive、ZooKeeper 正常无告警) |
| 元数据库 | PostgreSQL 9.1+(默认,随包 10.7)或 MySQL 5.1–5.7(推荐 5.7) |
| 资源(推荐) | 16 vCore / 64 GB 内存 / ≥500 GB 磁盘;YARN nodemanager.resource.memory-mb > 8192 MB |
| 客户端 | macOS / Windows 7+,浏览器 Chrome 45+;内存 8 GB+ |
| 关键端口 | 7070(HTTP)、7443(HTTPS,可选)、4041(Spark Query UI)、2181(ZK)、8020/50010(HDFS)、9083(Hive Metastore)、8088/8032(YARN)、5432/3306(元数据库) |
Linux 单机部署
以 /usr/local + 专用账号 KyAdmin 为例:
# 1. 准备目录与账号,配置好 Hadoop 客户端(core-site.xml / hive-site.xml 可被读取)
export KYLIN_HOME=/usr/local/apache-kylin-5.0.5
# 2. 解压安装包
cd /usr/local
tar -zxvf apache-kylin-5.0.5-bin.tar.gz
# 3. 下载内置 Spark(会在 $KYLIN_HOME 下生成 spark 目录)
bash $KYLIN_HOME/sbin/download-spark-user.sh
# 4. 配置元数据库(PostgreSQL 示例)与 ZooKeeper
# $KYLIN_HOME/conf/kylin.properties
# kylin.metadata.url=kylin_metadata@jdbc,driverClassName=org.postgresql.Driver,\
# url=jdbc:postgresql://127.0.0.1:5432/kylin,username=kylin,password=xxx
# kylin.env.zookeeper-connect-string=10.1.2.1:2181,10.1.2.2:2181
# 5. 创建 HDFS 工作目录并授权
hadoop fs -mkdir -p /kylin
hadoop fs -chown KyAdmin /kylin
hadoop fs -mkdir -p /kylin/spark-history
hadoop fs -chown KyAdmin /kylin/spark-history
# 6. 环境自检并启动
$KYLIN_HOME/bin/check-env.sh
$KYLIN_HOME/bin/kylin.sh start
# 7. 导入 SSB 样例数据(生成 SSB 库与 6 张 Hive 表)
$KYLIN_HOME/bin/sample.sh
# 停止
$KYLIN_HOME/bin/kylin.sh stop
启动后访问 http://<host>:7070/kylin,默认用户 ADMIN,首次启动会在控制台打印随机初始密码;首次登录后必须按规则修改(≥8 位,含数字、字母、特殊字符)。
注意:
check-env.sh依赖curl的 GSS-Negotiate 支持,建议先执行curl --version确认。
Docker 快速试用(亲测)
# https://kylin.apache.org/zh-Hans/docs/quickstart/intro/
docker run -d \
--name kylin5-standalone \
--hostname localhost \
-e TZ=UTC \
-m 10G \
-p 7070:7070 -p 8088:8088 -p 9870:9870 -p 8032:8032 -p 8042:8042 -p 2181:2181 \
apachekylin/apache-kylin-standalone:5.0.2-GA
- 官方明确提示:5.0.2 的 Docker 镜像不含最新安全修复,仅适合个人功能体验,生产必须使用最新版本。
- 镜像仅提供 amd64 平台版本。
Docker Compose 快速试用(亲测)
配置 docker-compose-apache-kylin.yml
# https://kylin.apache.org/zh-Hans/docs/quickstart/intro/
#docker run -d \
# --name kylin5-standalone \
# --hostname localhost \
# -e TZ=UTC \
# -m 10G \
# -p 7070:7070 -p 8088:8088 -p 9870:9870 -p 8032:8032 -p 8042:8042 -p 2181:2181 \
# apachekylin/apache-kylin-standalone:5.0.2-GA
# https://kylin.apache.org/zh-Hans/docs/4.0.4/install/kylin_docker/
#docker run -d \
#-m 8G \
#-p 7070:7070 \
#-p 8088:8088 \
#-p 50070:50070 \
#-p 8032:8032 \
#-p 8042:8042 \
#-p 2181:2181 \
#apachekylin/apache-kylin-standalone:4.0.0
# 踩坑经验:实际操作(拉取镜像)的建议: ↓
## docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/apachekylin/apache-kylin-standalone:5.0.2-GA
## docker tag swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/apachekylin/apache-kylin-standalone:5.0.2-GA apachekylin/apache-kylin-standalone:5.0.2-GA
services:
kylin5-standalone:
image: apache-kylin-standalone:5.0.2-GA
container_name: kylin5-standalone
restart: always
ports:
- "7070:7070"
- "8088:8088"
- "9870:9870"
- "8032:8032"
- "8042:8042"
- "2181:2181"
#volumes:
#command:
#- --config=/opt/xxx/config.yml
ulimits:
nofile:
soft: 65535
hard: 65535
- 端口说明
这 6 个端口分三类:业务入口、运维后台、协议端口。
| 端口 | 归属组件 | 用途 | 浏览器能直接打开吗 | 在你的场景里是否必需 |
|---|---|---|---|---|
| 7070 | Kylin Server | Web UI(/kylin)、REST API、JDBC 也走这个端口 |
✅ 是唯一业务入口 | 必需 |
| 8088 | YARN ResourceManager | 查看应用列表、队列、容器日志、作业卡在哪 | ✅ 可开 | 排障用,建议保留 |
| 9870 | HDFS NameNode(Hadoop 3.x) | 查看 HDFS 健康度、浏览目录、确认 Cuboid 文件是否落盘 | ✅ 可开 | 排障用(4.x 镜像对应 50070) |
| 8032 | YARN RM 的 ApplicationMaster Service | Spark 作业向 RM 申请资源、AM 注册的 RPC 端口 | ❌ 不是网页 | 单容器内非必需;外部提交 Spark 才需要 |
| 8042 | YARN NodeManager | 查看单个容器状态、stdout/stderr 日志 | ✅ 可开 | 排查构建失败时常用 |
| 2181 | ZooKeeper | Kylin 服务发现/协调(老镜像里 Kafka 也复用) | ❌ 不是网页 | Kylin 内部依赖,不建议对外暴露 |
两个容易误解的点
- 8032 和 2181 不是“访问入口”:前者是 【YARN 协议端口】,后者是 【ZooKeeper 客户端端口】,用浏览器打开只会报错或挂起,它们存在只是为了“容器内客户端能连、必要时外部客户端也能连”。
- 端口映射默认监听
0.0.0.0:POC 在本地跑没问题,若机器有公网 IP,2181/8088/8032暴露出去有安全风险。只在本机用可以改成-p 127.0.0.1:7070:7070这类写法。
启动运行
# 从华为云的镜像仓库拉取 (国内无法直接访问 Docker官方镜像站、且诸多第三方镜像站不存在此镜像)
$ docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/apachekylin/apache-kylin-standalone:5.0.2-GA
$ docker tag swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/apachekylin/apache-kylin-standalone:5.0.2-GA apachekylin/apache-kylin-standalone:5.0.2-GA
$ docker-compose -f "D:\Program-Data\Docker-Compose-Files\docker-compose-apache-kylin.yml" up -d
WARN[0000] Found orphan containers (typedb, iotdb-datanode, iotdb-confignode) for this project. If you removed or renamed this service in your compose file, you can run this command
with the --remove-orphans flag to clean it up.
[+] up 1/1
✔ Container kylin5-standalone Started
启动日志:
$ docker logs --follow kylin5-standalone
===============================================================================
*******************************************************************************
|
| Start SSH server at Sat Nov 7 08:30:22 UTC 2026
| Command: /etc/init.d/ssh start
|
* Starting OpenBSD Secure Shell server sshd
...done.
[Start SSH server] succeed.
===============================================================================
*******************************************************************************
|
| Start MySQL at Sat Nov 7 08:30:22 UTC 2026
| Command: service mysql start
|
* Starting MySQL database server mysqld
su: warning: cannot change directory to /nonexistent: No such file or directory
...done.
[Start MySQL] succeed.
===============================================================================
*******************************************************************************
|
| Create Database kylin at Sat Nov 7 08:30:23 UTC 2026
| Command: mysql -uroot -p123456 -e CREATE DATABASE IF NOT EXISTS kylin default charset utf8mb4 COLLATE utf8mb4_general_ci;
|
mysql: [Warning] Using a password on the command line interface can be insecure.
[Create Database kylin] succeed.
===============================================================================
*******************************************************************************
|
| Create Database hive3 at Sat Nov 7 08:30:23 UTC 2026
| Command: mysql -uroot -p123456 -e CREATE DATABASE IF NOT EXISTS hive3 default charset utf8mb4 COLLATE utf8mb4_general_ci;
|
mysql: [Warning] Using a password on the command line interface can be insecure.
[Create Database hive3] succeed.
===============================================================================
*******************************************************************************
|
| Init Hive at Sat Nov 7 08:30:23 UTC 2026
| Command: schematool -initSchema -dbType mysql
|
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/apache-hive-3.1.3-bin/lib/log4j-slf4j-impl-2.17.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop-3.2.4/share/hadoop/common/lib/slf4j-reload4j-1.7.35.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Metastore connection URL: jdbc:mysql://127.0.0.1:3306/hive3?useSSL=false&allowPublicKeyRetrieval=true&characterEncoding=UTF-8
Metastore Connection Driver : com.mysql.cj.jdbc.Driver
Metastore connection User: root
Starting metastore schema initialization to 3.1.0
Initialization script hive-schema-3.1.0.mysql.sql
Initialization script completed
schemaTool completed
[Init Hive] succeed.
===============================================================================
*******************************************************************************
|
| Format HDFS at Sat Nov 7 08:30:29 UTC 2026
| Command: hdfs namenode -format
|
WARNING: /opt/hadoop-3.2.4/logs does not exist. Creating.
2026-11-07 08:30:29,607 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = 324f15e33269/172.19.0.3
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 3.2.4
STARTUP_MSG: classpath = /opt/hadoop-3.2.4/etc/hadoop:/opt/hadoop-3.2.4/share/hadoop/common/lib/jetty-security-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/httpc
lient-4.5.13.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jcip-annotations-1.0-1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/javax.servlet-api-3.1.0.jar:/opt/hadoop-3.2.4/share/h
adoop/common/lib/jackson-mapper-asl-1.9.13.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/kerb-common-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/dnsjava-2.1.7.jar:/opt/hadoo
p-3.2.4/share/hadoop/common/lib/jackson-xc-1.9.13.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/htrace-core4-4.1.0-incubating.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/slf4j-api
-1.7.35.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jsp-api-2.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/kerb-simplekdc-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/ja
xb-impl-2.2.3-1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/hadoop-auth-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jackson-databind-2.10.5.1.jar:/opt/hadoop-3.2.4/share/h
adoop/common/lib/httpcore-4.4.13.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jersey-server-1.19.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/commons-codec-1.11.jar:/opt/hadoop-3.
2.4/share/hadoop/common/lib/jetty-server-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/kerby-util-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jersey-core-1.
19.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/checker-qual-2.5.2.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/curator-client-2.13.0.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib
/woodstox-core-5.3.0.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jetty-http-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/listenablefuture-9999.0-empty-to-avoid-c
onflict-with-guava.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/kerb-core-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/commons-collections-3.2.2.jar:/opt/hadoop-3.2.4/share/
hadoop/common/lib/commons-beanutils-1.9.4.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/netty-3.10.6.Final.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jersey-servlet-1.19.jar:/opt
/hadoop-3.2.4/share/hadoop/common/lib/jetty-util-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jackson-core-asl-1.9.13.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib
/jettison-1.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/kerb-identity-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jetty-util-ajax-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/
share/hadoop/common/lib/metrics-core-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/commons-net-3.6.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jersey-json-1.19.jar:/opt/hado
op-3.2.4/share/hadoop/common/lib/kerb-client-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/gson-2.9.0.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jackson-annotations-2.10.5.
jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/kerby-asn1-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/commons-cli-1.2.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/token-prov
ider-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/commons-compress-1.21.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jsch-0.1.55.jar:/opt/hadoop-3.2.4/share/hadoop/common/li
b/guava-27.0-jre.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/javax.activation-api-1.2.0.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/commons-text-1.4.jar:/opt/hadoop-3.2.4/share/
hadoop/common/lib/zookeeper-3.4.14.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/spotbugs-annotations-3.1.9.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/kerby-xdr-1.0.1.jar:/opt/ha
doop-3.2.4/share/hadoop/common/lib/slf4j-reload4j-1.7.35.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/avro-1.7.7.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/failureaccess-1.0.jar
:/opt/hadoop-3.2.4/share/hadoop/common/lib/kerb-admin-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/accessors-smart-2.4.7.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/audienc
e-annotations-0.5.0.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/kerb-crypto-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/commons-lang3-3.7.jar:/opt/hadoop-3.2.4/share/hadoo
p/common/lib/jsr311-api-1.1.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/reload4j-1.2.18.3.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/error_prone_annotations-2.2.0.jar:/opt/ha
doop-3.2.4/share/hadoop/common/lib/jetty-webapp-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/kerby-config-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/asm-5
.0.4.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/re2j-1.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/commons-math3-3.1.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/paranamer
-2.3.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/commons-configuration2-2.1.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/snappy-java-1.0.5.jar:/opt/hadoop-3.2.4/share/hadoop/co
mmon/lib/jetty-io-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jsr305-3.0.2.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/kerb-server-1.0.1.jar:/opt/hadoop-3.2.4/s
hare/hadoop/common/lib/hadoop-annotations-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jetty-xml-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/kerby-pkix-1.0
.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/curator-framework-2.13.0.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jul-to-slf4j-1.7.35.jar:/opt/hadoop-3.2.4/share/hadoop/common
/lib/j2objc-annotations-1.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/commons-io-2.8.0.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jaxb-api-2.2.11.jar:/opt/hadoop-3.2.4/share/
hadoop/common/lib/protobuf-java-2.5.0.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/json-smart-2.4.7.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jetty-servlet-9.4.43.v20210629.jar
:/opt/hadoop-3.2.4/share/hadoop/common/lib/curator-recipes-2.13.0.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/stax2-api-4.2.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jackson
-core-2.10.5.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/animal-sniffer-annotations-1.17.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/jackson-jaxrs-1.9.13.jar:/opt/hadoop-3.2.4/s
hare/hadoop/common/lib/kerb-util-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/commons-logging-1.1.3.jar:/opt/hadoop-3.2.4/share/hadoop/common/lib/nimbus-jose-jwt-9.8.1.jar:/o
pt/hadoop-3.2.4/share/hadoop/common/hadoop-nfs-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/common/hadoop-common-3.2.4-tests.jar:/opt/hadoop-3.2.4/share/hadoop/common/hadoop-common-3.2.
4.jar:/opt/hadoop-3.2.4/share/hadoop/common/hadoop-kms-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jetty-security-9.4.43.v20210629.jar:/opt
/hadoop-3.2.4/share/hadoop/hdfs/lib/httpclient-4.5.13.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jcip-annotations-1.0-1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/javax.servlet-ap
i-3.1.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jackson-mapper-asl-1.9.13.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/kerb-common-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/l
ib/dnsjava-2.1.7.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jackson-xc-1.9.13.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/htrace-core4-4.1.0-incubating.jar:/opt/hadoop-3.2.4/share/
hadoop/hdfs/lib/kerb-simplekdc-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jaxb-impl-2.2.3-1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/leveldbjni-all-1.8.jar:/opt/hadoop-3.2
.4/share/hadoop/hdfs/lib/hadoop-auth-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jackson-databind-2.10.5.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/httpcore-4.4.13.jar:/opt
/hadoop-3.2.4/share/hadoop/hdfs/lib/jersey-server-1.19.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/commons-codec-1.11.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jetty-server-9.4.43
.v20210629.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/kerby-util-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jersey-core-1.19.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/chec
ker-qual-2.5.2.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/curator-client-2.13.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/commons-daemon-1.0.13.jar:/opt/hadoop-3.2.4/share/hadoop
/hdfs/lib/woodstox-core-5.3.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jetty-http-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/listenablefuture-9999.0-empty-to-av
oid-conflict-with-guava.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/kerb-core-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/commons-collections-3.2.2.jar:/opt/hadoop-3.2.4/share
/hadoop/hdfs/lib/commons-beanutils-1.9.4.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/netty-3.10.6.Final.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jersey-servlet-1.19.jar:/opt/hado
op-3.2.4/share/hadoop/hdfs/lib/jetty-util-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jackson-core-asl-1.9.13.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jettison-1
.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/kerb-identity-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jetty-util-ajax-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/share/hadoop/hd
fs/lib/commons-net-3.6.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jersey-json-1.19.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/kerb-client-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/
hdfs/lib/gson-2.9.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jackson-annotations-2.10.5.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/kerby-asn1-1.0.1.jar:/opt/hadoop-3.2.4/share/h
adoop/hdfs/lib/okhttp-2.7.5.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/commons-cli-1.2.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/okio-1.6.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdf
s/lib/token-provider-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/commons-compress-1.21.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jsch-0.1.55.jar:/opt/hadoop-3.2.4/share/hado
op/hdfs/lib/guava-27.0-jre.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/javax.activation-api-1.2.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/commons-text-1.4.jar:/opt/hadoop-3.2.4/
share/hadoop/hdfs/lib/zookeeper-3.4.14.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/spotbugs-annotations-3.1.9.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/kerby-xdr-1.0.1.jar:/opt/ha
doop-3.2.4/share/hadoop/hdfs/lib/avro-1.7.7.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/failureaccess-1.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/kerb-admin-1.0.1.jar:/opt/hadoo
p-3.2.4/share/hadoop/hdfs/lib/accessors-smart-2.4.7.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/audience-annotations-0.5.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/kerb-crypto-1.
0.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/commons-lang3-3.7.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jsr311-api-1.1.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/reload4j-1
.2.18.3.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/error_prone_annotations-2.2.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jetty-webapp-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/sha
re/hadoop/hdfs/lib/kerby-config-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/asm-5.0.4.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/re2j-1.1.jar:/opt/hadoop-3.2.4/share/hadoop/h
dfs/lib/commons-math3-3.1.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/paranamer-2.3.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/commons-configuration2-2.1.1.jar:/opt/hadoop-3.2.4/
share/hadoop/hdfs/lib/snappy-java-1.0.5.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jetty-io-9.4.43.v20210629.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jsr305-3.0.2.jar:/opt/hadoo
p-3.2.4/share/hadoop/hdfs/lib/kerb-server-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/hadoop-annotations-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jetty-xml-9.4.43.v20
210629.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/kerby-pkix-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/curator-framework-2.13.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/
j2objc-annotations-1.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/commons-io-2.8.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jaxb-api-2.2.11.jar:/opt/hadoop-3.2.4/share/hadoop/hd
fs/lib/protobuf-java-2.5.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/json-smart-2.4.7.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jetty-servlet-9.4.43.v20210629.jar:/opt/hadoop-3.
2.4/share/hadoop/hdfs/lib/curator-recipes-2.13.0.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/stax2-api-4.2.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/json-simple-1.1.1.jar:/opt/h
adoop-3.2.4/share/hadoop/hdfs/lib/jackson-core-2.10.5.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/animal-sniffer-annotations-1.17.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/jackson
-jaxrs-1.9.13.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/kerb-util-1.0.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/commons-logging-1.1.3.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/l
ib/netty-all-4.1.68.Final.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/lib/nimbus-jose-jwt-9.8.1.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/hadoop-hdfs-httpfs-3.2.4.jar:/opt/hadoop-3.2.4/sh
are/hadoop/hdfs/hadoop-hdfs-native-client-3.2.4-tests.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/hadoop-hdfs-client-3.2.4-tests.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/hadoop-hdfs-rbf-
3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/hadoop-hdfs-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/hadoop-hdfs-rbf-3.2.4-tests.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/hadoop-hd
fs-native-client-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/hadoop-hdfs-nfs-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/hdfs/hadoop-hdfs-3.2.4-tests.jar:/opt/hadoop-3.2.4/share/hado
op/hdfs/hadoop-hdfs-client-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/mapreduce/lib/junit-4.13.2.jar:/opt/hadoop-3.2.4/share/hadoop/mapreduce/lib/hamcrest-core-1.3.jar:/opt/hadoop-3.2
.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.4-tests.jar:/opt/hadoop-3.2.4/share/hadoop/mapreduce/hadoop-mapreduce-client-uploader-3.2.4.jar:/opt/hadoop-3.2.4/sha
re/hadoop/mapreduce/hadoop-mapreduce-client-app-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/mapreduce/hadoop-mapreduce-client-hs-plugins-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/mapred
uce/hadoop-mapreduce-examples-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/mapreduce/hadoop-mapreduce-client-core-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/mapreduce/hadoop-mapreduce-cli
ent-nativetask-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/mapreduce/hadoop-mapreduce-client-hs-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/mapreduce/hadoop-mapreduce-client-shuffle-3.2.4
.jar:/opt/hadoop-3.2.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/mapreduce/hadoop-mapreduce-client-common-3.2.4.jar:/opt/hado
op-3.2.4/share/hadoop/yarn:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/bcprov-jdk15on-1.60.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/aopalliance-1.0.jar:/opt/hadoop-3.2.4/share/hadoop
/yarn/lib/jackson-module-jaxb-annotations-2.10.5.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/javax.inject-1.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/jersey-client-1.19.jar:/opt/h
adoop-3.2.4/share/hadoop/yarn/lib/jackson-jaxrs-base-2.10.5.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/metrics-core-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/jakarta.xml.bi
nd-api-2.3.2.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/guice-servlet-4.0.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/guice-4.0.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/fst-2.50
.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/objenesis-1.0.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/geronimo-jcache_1.0_spec-1.0-alpha-1.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/l
ib/snakeyaml-1.26.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/jackson-jaxrs-json-provider-2.10.5.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/mssql-jdbc-6.2.1.jre7.jar:/opt/hadoop-3.
2.4/share/hadoop/yarn/lib/HikariCP-java7-2.4.12.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/bcpkix-jdk15on-1.60.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/jersey-guice-1.19.jar:/op
t/hadoop-3.2.4/share/hadoop/yarn/lib/java-util-1.9.0.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/swagger-annotations-1.5.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/jakarta.activa
tion-api-1.2.1.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/json-io-2.5.1.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/lib/ehcache-3.3.1.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yar
n-services-core-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-registry-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-server-timeline-pluginstorage-3.2.4.jar:
/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-client-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-server-sharedcachemanager-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/y
arn/hadoop-yarn-applications-unmanaged-am-launcher-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-server-resourcemanager-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/had
oop-yarn-applications-distributedshell-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-server-web-proxy-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-server-co
mmon-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-server-nodemanager-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-api-3.2.4.jar:/opt/hadoop-3.2.4/share/had
oop/yarn/hadoop-yarn-common-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-submarine-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-services-api-3.2.4.jar:/opt
/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-server-applicationhistoryservice-3.2.4.jar:/opt/hadoop-3.2.4/share/hadoop/yarn/hadoop-yarn-server-router-3.2.4.jar:/opt/hadoop-3.2.4/shar
e/hadoop/yarn/hadoop-yarn-server-tests-3.2.4.jar
STARTUP_MSG: build = Unknown -r 7e5d9983b388e372fe640f21f048f2f2ae6e9eba; compiled by 'ubuntu' on 2022-07-12T11:58Z
STARTUP_MSG: java = 1.8.0_442
************************************************************/
2026-11-07 08:30:29,612 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]
2026-11-07 08:30:29,664 INFO namenode.NameNode: createNameNode [-format]
Formatting using clusterid: CID-08d0b9c6-3fd4-415c-a411-b79cc0c8f2d1
2026-11-07 08:30:29,944 INFO namenode.FSEditLog: Edit logging is async:true
2026-11-07 08:30:29,961 INFO namenode.FSNamesystem: KeyProvider: null
2026-11-07 08:30:29,961 INFO namenode.FSNamesystem: fsLock is fair: true
2026-11-07 08:30:29,962 INFO namenode.FSNamesystem: Detailed lock hold time metrics enabled: false
2026-11-07 08:30:29,967 INFO namenode.FSNamesystem: fsOwner = root (auth:SIMPLE)
2026-11-07 08:30:29,967 INFO namenode.FSNamesystem: supergroup = supergroup
2026-11-07 08:30:29,967 INFO namenode.FSNamesystem: isPermissionEnabled = true
2026-11-07 08:30:29,967 INFO namenode.FSNamesystem: HA Enabled: false
2026-11-07 08:30:30,003 INFO common.Util: dfs.datanode.fileio.profiling.sampling.percentage set to 0. Disabling file IO profiling
2026-11-07 08:30:30,010 INFO blockmanagement.DatanodeManager: dfs.block.invalidate.limit: configured=1000, counted=60, effected=1000
2026-11-07 08:30:30,010 INFO blockmanagement.DatanodeManager: dfs.namenode.datanode.registration.ip-hostname-check=true
2026-11-07 08:30:30,013 INFO blockmanagement.BlockManager: dfs.namenode.startup.delay.block.deletion.sec is set to 000:00:00:00.000
2026-11-07 08:30:30,013 INFO blockmanagement.BlockManager: The block deletion will start around 2026 Nov 07 08:30:30
2026-11-07 08:30:30,014 INFO util.GSet: Computing capacity for map BlocksMap
2026-11-07 08:30:30,014 INFO util.GSet: VM type = 64-bit
2026-11-07 08:30:30,015 INFO util.GSet: 2.0% max memory 2.6 GB = 52.6 MB
2026-11-07 08:30:30,015 INFO util.GSet: capacity = 2^23 = 8388608 entries
2026-11-07 08:30:30,021 INFO blockmanagement.BlockManager: Storage policy satisfier is disabled
2026-11-07 08:30:30,021 INFO blockmanagement.BlockManager: dfs.block.access.token.enable = false
2026-11-07 08:30:30,025 INFO blockmanagement.BlockManagerSafeMode: dfs.namenode.safemode.threshold-pct = 0.9990000128746033
2026-11-07 08:30:30,025 INFO blockmanagement.BlockManagerSafeMode: dfs.namenode.safemode.min.datanodes = 0
2026-11-07 08:30:30,025 INFO blockmanagement.BlockManagerSafeMode: dfs.namenode.safemode.extension = 30000
2026-11-07 08:30:30,025 INFO blockmanagement.BlockManager: defaultReplication = 1
2026-11-07 08:30:30,025 INFO blockmanagement.BlockManager: maxReplication = 512
2026-11-07 08:30:30,025 INFO blockmanagement.BlockManager: minReplication = 1
2026-11-07 08:30:30,025 INFO blockmanagement.BlockManager: maxReplicationStreams = 2
2026-11-07 08:30:30,025 INFO blockmanagement.BlockManager: redundancyRecheckInterval = 3000ms
2026-11-07 08:30:30,025 INFO blockmanagement.BlockManager: encryptDataTransfer = false
2026-11-07 08:30:30,025 INFO blockmanagement.BlockManager: maxNumBlocksToLog = 1000
2026-11-07 08:30:30,040 INFO namenode.FSDirectory: GLOBAL serial map: bits=29 maxEntries=536870911
2026-11-07 08:30:30,040 INFO namenode.FSDirectory: USER serial map: bits=24 maxEntries=16777215
2026-11-07 08:30:30,040 INFO namenode.FSDirectory: GROUP serial map: bits=24 maxEntries=16777215
2026-11-07 08:30:30,040 INFO namenode.FSDirectory: XATTR serial map: bits=24 maxEntries=16777215
2026-11-07 08:30:30,048 INFO util.GSet: Computing capacity for map INodeMap
2026-11-07 08:30:30,048 INFO util.GSet: VM type = 64-bit
2026-11-07 08:30:30,048 INFO util.GSet: 1.0% max memory 2.6 GB = 26.3 MB
2026-11-07 08:30:30,048 INFO util.GSet: capacity = 2^22 = 4194304 entries
2026-11-07 08:30:30,052 INFO namenode.FSDirectory: ACLs enabled? false
2026-11-07 08:30:30,052 INFO namenode.FSDirectory: POSIX ACL inheritance enabled? true
2026-11-07 08:30:30,052 INFO namenode.FSDirectory: XAttrs enabled? true
2026-11-07 08:30:30,053 INFO namenode.NameNode: Caching file names occurring more than 10 times
2026-11-07 08:30:30,056 INFO snapshot.SnapshotManager: Loaded config captureOpenFiles: false, skipCaptureAccessTimeOnlyChange: false, snapshotDiffAllowSnapRootDescendant: true, maxS
napshotLimit: 65536
2026-11-07 08:30:30,058 INFO snapshot.SnapshotManager: SkipList is disabled
2026-11-07 08:30:30,060 INFO util.GSet: Computing capacity for map cachedBlocks
2026-11-07 08:30:30,060 INFO util.GSet: VM type = 64-bit
2026-11-07 08:30:30,061 INFO util.GSet: 0.25% max memory 2.6 GB = 6.6 MB
2026-11-07 08:30:30,061 INFO util.GSet: capacity = 2^20 = 1048576 entries
2026-11-07 08:30:30,067 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.window.num.buckets = 10
2026-11-07 08:30:30,067 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.num.users = 10
2026-11-07 08:30:30,067 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.windows.minutes = 1,5,25
2026-11-07 08:30:30,070 INFO namenode.FSNamesystem: Retry cache on namenode is enabled
2026-11-07 08:30:30,070 INFO namenode.FSNamesystem: Retry cache will use 0.03 of total heap and retry cache entry expiry time is 600000 millis
2026-11-07 08:30:30,072 INFO util.GSet: Computing capacity for map NameNodeRetryCache
2026-11-07 08:30:30,072 INFO util.GSet: VM type = 64-bit
2026-11-07 08:30:30,072 INFO util.GSet: 0.029999999329447746% max memory 2.6 GB = 807.3 KB
2026-11-07 08:30:30,072 INFO util.GSet: capacity = 2^17 = 131072 entries
2026-11-07 08:30:30,092 INFO namenode.FSImage: Allocated new BlockPoolId: BP-1181249797-172.19.0.3-1794040230086
2026-11-07 08:30:30,116 INFO common.Storage: Storage directory /data/hadoop/dfs/name has been successfully formatted.
2026-11-07 08:30:30,135 INFO namenode.FSImageFormatProtobuf: Saving image file /data/hadoop/dfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
2026-11-07 08:30:30,245 INFO namenode.FSImageFormatProtobuf: Image file /data/hadoop/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 399 bytes saved in 0 seconds .
2026-11-07 08:30:30,254 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
2026-11-07 08:30:30,272 INFO namenode.FSNamesystem: Stopping services started for active state
2026-11-07 08:30:30,273 INFO namenode.FSNamesystem: Stopping services started for standby state
2026-11-07 08:30:30,275 INFO namenode.FSImage: FSImageSaver clean checkpoint: txid=0 when meet shutdown.
2026-11-07 08:30:30,275 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at 324f15e33269/172.19.0.3
************************************************************/
[Format HDFS] succeed.
===============================================================================
*******************************************************************************
|
| Start Zookeeper at Sat Nov 7 08:30:30 UTC 2026
| Command: /opt/apache-zookeeper-3.7.2-bin/bin/zkServer.sh start
|
ZooKeeper JMX enabled by default
Using config: /opt/apache-zookeeper-3.7.2-bin/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[Start Zookeeper] succeed.
===============================================================================
*******************************************************************************
|
| Start Hadoop at Sat Nov 7 08:30:31 UTC 2026
| Command: /opt/hadoop-3.2.4/sbin/start-all.sh
|
Starting namenodes on [localhost]
localhost: Warning: Permanently added 'localhost' (ED25519) to the list of known hosts.
Starting datanodes
Starting secondary namenodes [324f15e33269]
324f15e33269: Warning: Permanently added '324f15e33269' (ED25519) to the list of known hosts.
Starting resourcemanager
Starting nodemanagers
[Start Hadoop] succeed.
===============================================================================
*******************************************************************************
|
| Start History Server at Sat Nov 7 08:30:45 UTC 2026
| Command: /opt/hadoop-3.2.4/sbin/start-historyserver.sh
|
WARNING: Use of this script to start the MR JobHistory daemon is deprecated.
WARNING: Attempting to execute replacement "mapred --daemon start" instead.
[Start History Server] succeed.
===============================================================================
*******************************************************************************
|
| Start Hive metastore at Sat Nov 7 08:30:47 UTC 2026
| Command: /opt/apache-hive-3.1.3-bin/bin/start-hivemetastore.sh
|
[Start Hive metastore] succeed.
Checking Check Hive metastore's status...
+
Check Check Hive metastore succeed.
===============================================================================
*******************************************************************************
|
| Start Hive server at Sat Nov 7 08:30:57 UTC 2026
| Command: /opt/apache-hive-3.1.3-bin/bin/start-hiveserver2.sh
|
[Start Hive server] succeed.
Checking Check Hive server's status...
+
Check Check Hive server succeed.
===============================================================================
*******************************************************************************
|
| Prepare sample data at Sat Nov 7 08:31:18 UTC 2026
| Command: /home/kylin/apache-kylin-5.0.2-bin/bin/sample.sh
|
Loading sample data into HDFS tmp path: /tmp/kylin/sample_cube/data
WARNING: log4j.properties is not found. HADOOP_CONF_DIR may be incomplete.
WARNING: log4j.properties is not found. HADOOP_CONF_DIR may be incomplete.
Going to create sample tables in hive to database SSB by hive
WARNING: log4j.properties is not found. HADOOP_CONF_DIR may be incomplete.
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/apache-hive-3.1.3-bin/lib/log4j-slf4j-impl-2.17.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop-3.2.4/share/hadoop/common/lib/slf4j-reload4j-1.7.35.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Hive Session ID = 492a2d10-b2b1-4f72-8c69-fc8b9ba77c6d
Logging initialized using configuration in jar:file:/opt/apache-hive-3.1.3-bin/lib/hive-common-3.1.3.jar!/hive-log4j2.properties Async: true
Hive Session ID = f14dfac9-cca1-4d3b-800e-601a2813fc4d
OK
Time taken: 0.801 seconds
WARNING: log4j.properties is not found. HADOOP_CONF_DIR may be incomplete.
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/apache-hive-3.1.3-bin/lib/log4j-slf4j-impl-2.17.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop-3.2.4/share/hadoop/common/lib/slf4j-reload4j-1.7.35.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Hive Session ID = 7dcbccc3-90e4-4755-8424-48ee31fd849e
Logging initialized using configuration in jar:file:/opt/apache-hive-3.1.3-bin/lib/hive-common-3.1.3.jar!/hive-log4j2.properties Async: true
Hive Session ID = 90d3e236-5257-42f9-9779-68185319a039
OK
Time taken: 0.512 seconds
OK
Time taken: 0.041 seconds
OK
Time taken: 0.131 seconds
OK
Time taken: 0.543 seconds
OK
Time taken: 0.063 seconds
OK
Time taken: 0.113 seconds
OK
Time taken: 0.039 seconds
OK
Time taken: 0.098 seconds
OK
Time taken: 0.035 seconds
OK
Time taken: 0.084 seconds
OK
Time taken: 0.039 seconds
OK
Time taken: 0.081 seconds
OK
Time taken: 0.037 seconds
OK
Time taken: 1.528 seconds
Loading data to table ssb.customer
OK
Time taken: 0.409 seconds
Loading data to table ssb.dates
OK
Time taken: 0.172 seconds
Loading data to table ssb.lineorder
OK
Time taken: 0.209 seconds
Loading data to table ssb.part
OK
Time taken: 0.194 seconds
| Command: /home/kylin/apache-kylin-5.0.2-bin/bin/kylin.sh -v start
|
java is /usr/lib/jvm/java-8-openjdk-amd64/bin/java
Starting Kylin...
This user don't have permission to run crontab.
KYLIN_HOME is:/home/kylin/apache-kylin-5.0.2-bin
KYLIN_CONFIG_FILE is:/home/kylin/apache-kylin-5.0.2-bin/conf/kylin.properties
SPARK_HOME is:/home/kylin/apache-kylin-5.0.2-bin/spark
Retrieving hadoop config dir...
KYLIN_JVM_SETTINGS is -server -Xms1g -Xmx8g -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:G1HeapRegionSize=16m -XX:+PrintFlagsFinal -XX:+PrintReferenceGC -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -XX:+PrintAdaptiveSizePoli
cy -XX:+UnlockDiagnosticVMOptions -XX:+G1SummarizeConcMark -Xloggc:/home/kylin/apache-kylin-5.0.2-bin/logs/kylin.gc.%p -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=64M -XX:-OmitStackTraceInFastThrow -Dlog4j2.contextSelector=org
.apache.logging.log4j.core.async.AsyncLoggerContextSelector -DAsyncLogger.RingBufferSize=8192
KYLIN_DEBUG_SETTINGS is not set, will not enable remote debuging
KYLIN_LD_LIBRARY_SETTINGS is not set, it is okay unless you want to specify your own native path
SPARK_HDP_VERSION is set to 'hadoop'
Export SPARK_HOME to /home/kylin/apache-kylin-5.0.2-bin/spark
LD_PRELOAD= is:/home/kylin/apache-kylin-5.0.2-bin/server/libch.so
start with gluten
Checking Zookeeper role...
Checking Spark directory...
Kylin is starting. It may take a while. For status, please visit http://324f15e33269:7070/kylin/index.html.
You may also check status via: PID:5368, or Log: /home/kylin/apache-kylin-5.0.2-bin/logs/kylin.log.
[Start Kylin Instance] succeed.
Checking Check Env Script's status...
/home/kylin/apache-kylin-5.0.2-bin/bin/check-env-bypass
+
Check Check Env Script succeed.
Checking Kylin Instance's status...
0
-
0
-
0
-
0
-
0
-
0
-
0
-
0
-
0
-
1
+
Check Kylin Instance succeed.
Kylin service is already available for you to preview.
使用与验证

- 标准流程:
- 等启动完成(Kylin + HDFS + YARN + Spark + ZooKeeper 全在一个容器里,首次启动通常 2~5 分钟):
docker logs --follow kylin5-standalone
看到
Kylin service is already available for you to preview.即可(这是官方镜像的就绪提示),然后Ctrl+C退出日志。也可用curl -I [http://localhost:7070/kylin](http://localhost:7070/kylin)验证返回 200/302。
-
登录:用户名
ADMIN,密码KYLIN(这是 Docker 镜像的固定初始口令;单机脚本安装才是随机密码,两者不要混淆)。首次登录后系统会要求改密码(≥8 位,含数字、字母、特殊字符)。 -
开始使用(页面内顺序):
- Project:新建项目(或直接用内置示例项目);
- Data Source:加载 Hive 表(镜像一般已预置 SSB 样例库,含 6 张表;若左侧看不到 SSB,进容器执行
bin/sample.sh导入); - Model → New Model:在画布上选事实表/维度表、定义维度和度量;
- Index:给模型加聚合索引(Aggregate Index),需要明细查询再加 Table Index;
- Build:提交构建,在 Monitor 页看作业;
- Insight:执行 SQL,用结果区的
Answered By判断是否命中模型。
-
程序化接入(不进 UI 也能用):JDBC 连
jdbc:kylin://localhost:7070/<项目名>,驱动类org.apache.kylin.jdbc.Driver,账号同上。
- 三个实操提醒
- 镜像仅支持 amd64,Apple Silicon 需要加
--platform linux/amd64(会走模拟,明显变慢);官方要求 Docker 至少分配 8GB 内存、6 核,-m 10G是给容器内 Hadoop/Spark 留余量。-e TZ=UTC会影响构建分区边界与页面时间显示:如果数据是北京时间,建议改成-e TZ=Asia/Shanghai(需镜像内有 tzdata,否则仍按 UTC 显示)。- 5.0.2-GA 镜像不含最新安全修复,官方明确只适合个人功能体验,不要用于生产或有真实数据的场景。
补充一句:如果页面里 HDFS/YARN 的跳转链接打不开,通常是容器内生成的 URL 用了容器 hostname 而非
localhost,把地址手动替换成http://localhost:9870/http://localhost:8088即可。
Query
Insight

History

Data assets
Data Source (Columns Tab + Sample Data)

- 添加数据源

Internal Table

Model
-
Overview

-
Features

-
Segment

-
Index/索引

- Developers

Monitor
Batch Job

Settings

Dashboard

管理员
Project 管理
User 管理
集群与读写分离部署
- 集群模式:多个 Kylin 实例共享同一元数据库与 HDFS 目录,ZK 负责服务发现;构建作业统一提交 YARN。
- 读写分离:Query Node 专门承载查询、Job Node 承载构建,避免大查询与构建争抢资源;Kylin 5 进一步拆分 query/job/meta 服务。
- 若使用 Spark Standalone 或 Gluten,需按官方模板配置
kylin.storage.columnar.spark-conf.*(查询侧)与kylin.engine.spark-conf.*(构建侧)的 master、Gluten jar、libch.so、LD_PRELOAD等参数。
Windows 环境说明
- 服务端:官方不支持 Windows 部署,需在 Linux(物理机/虚机/容器)上运行 Kylin 服务。
- 客户端:Windows 侧可通过以下方式使用:
- 浏览器访问 Kylin Web UI(Chrome 45+);
- 使用
kylin-jdbc-*.jar在 Java/BI 工具中连接:jdbc:kylin://<host>:7070/<project>,驱动类org.apache.kylin.jdbc.Driver; - Tableau / Power BI / Excel 等通过 JDBC(或历史版本的 ODBC)接入。
- 本地开发调试可在 macOS 上启动(5.0.3 修复了带 Gluten 打包后的 macOS 启动问题),但性能与稳定性验证仍需在 Linux 集群完成。
关键操作
(1)端到端最小流程
| 步骤 | 操作位置 | 关键动作 |
|---|---|---|
| 1. 建项目 | Web UI → Project | 新建项目并授权用户/用户组 |
| 2. 加载数据源 | Data Source | 加载 Hive 库表(或配置 JDBC 源),可采样统计基数 |
| 3. 建模 | Model → New Model | 画布中设定事实表/维度表、Join 关系、维度、度量、计算列、分区列 |
| 4. 建索引 | Model → Index | 新建 Aggregate Index(配聚合组/必选/联合/层级维度)、Table Index(Shard/Sort Key) |
| 5. 构建 | Model → Build | 选择数据范围提交构建;Monitor 页观察作业 |
| 6. 查询 | Insight | 执行 SQL,查看 Answered By 判断是否命中 |
| 7. 对外服务 | Integration | 下发 JDBC 连接串给 BI 工具 |
(2)查询示例(SSB 样例)
SELECT LO_PARTKEY, SUM(LO_REVENUE) AS TOTAL_REVENUE
FROM SSB.P_LINEORDER
WHERE LO_ORDERDATE BETWEEN '1993-06-01' AND '1994-06-01'
GROUP BY LO_PARTKEY
ORDER BY SUM(LO_REVENUE) DESC;
(3)JDBC 接入示例
Driver driver = (Driver) Class.forName("org.apache.kylin.jdbc.Driver").newInstance();
Properties info = new Properties();
info.put("user", "ADMIN");
info.put("password", "******");
// info.put("ssl", "true"); // 走 HTTPS 端口时开启
Connection conn = driver.connect("jdbc:kylin://192.168.xx.xx:7070/kylin_project", info);
Statement st = conn.createStatement();
ResultSet rs = st.executeQuery("select * from SSB.P_LINEORDER limit 10");
JDBC 已知限制:
Prepared Statement场景不支持查询下推;动态参数不能跟-(如SUM(price - ?))、不能用于case when,建议只在过滤条件中使用。
(4)内表与即席分析
- 项目设置中开启 Internal Table 开关 → 在数据源表页面点"Create Internal Table" → 装载数据 → 可直接 SQL 查询(内表与普通表在查询层无差别)。
- 内表适合"分析模型尚未固定"的探索场景;开启内表后 Snapshot 功能不可用。
(5)索引推荐与优化
- 入口:Model → Recommendation / Index Optimization。
- 输入:查询历史(Kylin 5 记录详细指标)+ 规则集;输出:新增/删除索引建议,可一键采纳或批量审查。
(6)REST API
- 查询:
POST /kylin/api/query(同步)、异步查询 API 适合长查询;模型构建、Segment 管理、元数据的导入导出、项目/用户 ACL 均有 OpenAPI。 - 认证:Basic Auth(用户名/密码)或项目 Token。
运维要点
| 事项 | 建议 |
|---|---|
| Segment 管理 | 开启自动合并(按时/日/周/月/季/年阈值),避免小文件拖垮 HDFS NameNode 与查询性能 |
| 垃圾清理 | 定期清理失效索引/旧 Segment 与 job_tmp,配置 crontab 表达式触发 GC |
| 元数据备份 | bin/metastore.sh backup 定期备份;升级前必须完整备份 |
| 查询调优 | 优先补索引(Aggregate/Table Index)、设置 Shard/Sort Key、开启查询缓存;用 Answered By 判断命中率 |
| 构建调优 | 调整 kylin.engine.spark-conf.* 资源参数、合并小 Segment、控制聚合组规模 |
| 升级 | Kylin 4 → 5 元数据无法直接升级(官方明文),需按迁移指南重建对象;升级前先在测试环境演练 |
| 安全 | 启用 HTTPS(7443)、开启 ZK ACL、配置项目/列级 ACL、集成 Ranger;定期升级以覆盖安全修复 |
Z FAQ for Apache Kylin
Q: Apache Kylin 现在还活跃吗?会不会已经停止维护?
仍然维护中,但属于【成熟期】低频迭代。 依据 ASF 董事会 2026-08 报告,项目状态为 Ongoing,无董事会关注问题;最新版本 5.0.5 于 2026-07-13 发布,主要为安全与缺陷修复;同期有 1 名新 committer、1 名新 PMC 进入投票流程。但提交与 PR 数量长期处于低位,不宜按"高速演进"的项目来规划依赖。
Q: Kylin 5 必须部署整套 Hadoop 吗?
生产环境官方要求 Hadoop 3.2.1 + Hive + HDFS + YARN + ZooKeeper + 关系型元数据库。 Kylin 5 内置 Spark(download-spark-user.sh 下载),不必单独准备 Spark,但 HDFS/YARN/Hive/ZK 仍是硬依赖。
官方 Docker 镜像(apachekylin/apache-kylin-standalone)仅用于功能体验,不适合生产。
Q: Kylin 能在 Windows 上安装吗?
不能作为服务端安装。 官方支持矩阵为 Linux(Ubuntu 18.04+ / RHEL / CentOS)。Windows 只能作为客户端:浏览器访问 Web UI、或用 JDBC 驱动接入 BI 工具。若必须在 Windows 上体验,建议用 Docker/WSL 起 Linux 容器,但生产部署仍应使用 Linux。
Q: 查询报 no model found 或 no realization found 是什么原因?
说明查询没有命中任何模型/索引。 常见原因:
GROUP BY的列未定义为模型维度,或聚合函数未定义为度量;- 事实表/维度表的 Join 关系与模型定义不一致(尤其
LEFT JOIN与INNER JOIN混用); - 明细查询缺少覆盖全部列的 Table Index;
- 查询时间范围超出已构建 Segment 覆盖范围。
处理:补齐索引/维度后重建,或开启查询下推(kylin.query.pushdown-enabled=true)让 Spark SQL 兜底。
Q: 为什么开启下推后查询变慢了?
下推是现场计算,不做预聚合,且为保障一致性不使用查询缓存。
因此大表扫描会明显慢于命中索引。
下推只应作为长尾兜底;核心报表必须通过补充 Aggregate Index / Table Index 命中预计算。
Q: Kylin 4 的元数据能直接升级到 Kylin 5 吗?
不能直接升级。
5.0.2 的缺陷清单中明确记录"Kylin 4 元数据无法直接升级到 Kylin 5,迁移后仍需重建模型等对象"(KYLIN-6001);官方 Overview 也说明 4.0 → 5.0 的迁移工具未经充分测试。
建议:新集群部署 Kylin 5,按模型定义重建并重跑历史 Segment。
Q: 为什么 Kylin 4 最多支持 63 个维度?
因为 4.x 用 Long 型(64 位) 存储 Cuboid ID,其中 1 位被占用,剩余位即维度上限。
Kylin 5 重构了 Index 抽象,取消该限制,同时因为新索引机制可增删索引,不必为加维度而整体重建。
Q: 内表和快照(Snapshot)能同时用吗?
不能。 Kylin 5 开启内表功能后,Snapshot 快照表特性不再支持(官方 Internal Table 文档明确说明)。若业务强依赖维表快照一致性,需要在开启内表前评估。
Q: 为什么构建很慢、存储膨胀严重?
根因通常是索引设计过宽:
- 维度过多导致 Cuboid 数量指数级增长(2^n-1);
- 未设置 Mandatory/Joint/Hierarchy 维度与
Max Dimension Combination; - 聚合组划分过粗,长尾 Cuboid 无人查询却占存储;
- Segment 过碎,元数据与小文件开销放大。
优化手段:用聚合组裁剪组合、开启索引推荐剔除低收益索引、合并 Segment、按需构建 Table Index 而非全量明细索引。
Q: Kylin 支持实时数据分析吗?
支持有限实时。 Kylin 5 新增 Kafka 流式数据源与 Fusion Model,可实现流批融合分析,把延迟压到秒~分钟级;但它不是"任意更新实时可见"的实时数仓,高频更新的点查场景仍应交给 Doris/StarRocks/ClickHouse。
Q: 首次登录 ADMIN 密码是多少?
Kylin 5 不再使用固定的 ADMIN/KYLIN。首次启动时,控制台会打印 ADMIN 的随机初始密码;若遗失,可用官方"ADMIN 用户重置密码"流程处理。首次登录后必须按规则修改密码(≥8 位,含数字、字母、特殊字符)。
Q: Kylin 和 Doris/StarRocks 怎么选?
- 选 Kylin:口径稳定的 BI 报表/看板、PB 级历史数据、要求高并发与低资源波动的场景,且数据已沉淀在 Hive/HDFS。
- 选 Doris/StarRocks:需要"一份存储同时支撑报表 + 即席 + 点查"、要求秒级数据可见、运维团队偏云原生/MPP 经验。
- 共存:用 Kylin 做重预计算的报表加速层,用 MPP 承接明细/即席与实时链路,是存量 Hadoop 体系常见的务实组合。
Q: Kylin 5 的 Gluten 一定要开启吗?
不是强制,但内表功能依赖 Gluten(官方部署文档说明 Gluten 为内表特性所必需,默认开启)。若只使用传统模型预计算,可不启用 Gluten;启用后模型与内表查询都能获得向量化收益(官方称较原生 Spark 提升 2~4 倍),但需要额外配置 libch.so、LD_PRELOAD、Gluten jar 等运行环境,复杂度上升。
Q: kylin 基于 hive 预聚合的数据(Cuboid / Index)是存放在哪里的? HDFS
以 Kylin 5.0.5 官方文档为依据回答:
- 结论:存在 HDFS 上,不是 Hive 表,5.x 也不再是 HBase。
| 存储对象 | 位置 | 说明 |
|---|---|---|
| 预计算索引数据(Cuboid、Table Index 明细索引、字典、快照) | HDFS,kylin.env.hdfs-working-dir 下(默认 /kylin),按 metadata 路径建子目录,如 /kylin/kylin_metadata |
官方配置文档明确:该目录是“Kylin 实例在 HDFS 上的工作路径”,默认 /kylin,并以元数据路径名作为子目录;垃圾清理项里列的过期对象正是“过期索引、过期快照、过期字典” |
| 元数据(项目/模型/索引定义、Segment 状态、任务历史) | 关系型数据库(PostgreSQL 或 MySQL),由 kylin.metadata.url 指定 |
与数据文件分离,元数据不会放 HDFS |
| 内表数据(Storage V3) | 也在 HDFS;采用 Gluten MergeTree 格式,ClickHouse 侧元数据落本地磁盘(默认 /tmp/ch_metadata_kylin) |
官方 Overview:“use Gluten mergetree as the default storage format of internal table”;Gluten 配置里 disks.hdfs.endpoint 指向 HDFS |
版本演进(这是常被混淆的点):
| 版本 | 预计算数据存储 |
|---|---|
| Kylin 1.x–3.x | HBase(rowkey = Cuboid ID + 维度组合) |
| Kylin 4.x 起 | 改为 HDFS 上的列式文件(Parquet),去掉 HBase 依赖 |
| Kylin 5.x | 仍以 HDFS 为底座;新增【内表】,默认 Gluten MergeTree 格式;模型索引与内表查询都能吃到 Gluten 加速 |
对你的 Docker 环境:数据在容器内的 HDFS(/kylin 目录),元数据在容器内 MySQL 的 kylin 库。所以 docker rm 之后,Cube、内表、元数据会一起消失——想留存必须挂载数据卷或把元数据库外置。
Q: 外部数据源只支持 Hive 吗?是的,但 5.0 开始支持 Kafka 作为流式数据源
以 Kylin 5.0.5 官方文档为依据回答:
官方口径:是,外部数据源目前只有 Hive;但 5.0 额外支持 Kafka 作为流式数据源。
| 类型 | 是否支持 | 说明 |
|---|---|---|
| Hive | ✅ 唯一正式外部数据源 | 5.0.5 文档 FAQ 原文:“Kylin current only supports Hive”;Hive 的 Map/Array/Struct/Binary 列会被跳过,含 UDF 的 Hive 3 视图不支持;ACID 表需额外开 kylin.build.resource.read-transactional-table-enabled=true |
| Kafka(流式) | ✅ 5.0 新增 | 作为模型构建的流式数据源,支持流批融合模型,实现 T+0 |
| 内表(Internal Table) | ✅ 5.0 新增 | 不是“数据源”,而是 Kylin 自己托管数据与元数据的表;数据从源表导入,导入后查询与源表同名一体 |
| 逻辑视图(Logical View) | ✅ | 对已有 Hive 表做 SQL 层封装,不是新数据源 |
| JDBC / ODBC | ✅ 但只是查询接口 | 对外提供 SQL 接入,不能反向当数据源用 |
| Iceberg / Hudi / Paimon | ❌ 非一等公民 | 官方未列为数据源;只有在 Hive Metastore 里注册成 Hive 表时才可能被“间接”加载,且未经验证,不建议生产依赖 |
| 早期版本的 JDBC 数据源 | 已收敛 | 2.x/3.x 曾提供 JDBC 数据源(多用于维表),4.x 之后官方文档只保留 Hive |
选型建议:Kylin 的定位是“Hive 之上的加速层”——先把数据落到 Hive(或湖格式映射成 Hive 表),再让 Kylin 建模型/索引;要查明细或探索式分析,则把表导成内表走 Gluten。脱离 Hive 谈 Kylin 数据源,实际只有 Kafka 这一条流式补充路径。
Y 推荐文献
- Apache Kylin
1.5k fork / 3.8k star | 2026-11-07
- 《Apache Kylin 权威指南》 - 机械工业出版社(Apache Kylin 核心团队,2017,ISBN 9787111557012)
- 《Apache Kylin 权威指南(第 2 版)》 - 机械工业出版社(Apache Kylin 核心团队,2019)
- Why did Youzan choose Kylin 4(生产实践与选型对比) - Apache Confluence
Apache Gluten 项目 - Apache Software Foundation
Apache Kylin 董事会季度报告(社区健康度原始数据) - Apache Whimsy
X 参考文献
官方文档与项目资源
- Apache Kylin Overview(5.0.5) - kylin.apache.org
- Kylin 4.0 Overview(Parquet 替代 HBase 的原因) - kylin.apache.org
- Model(模型与索引概念) - kylin.apache.org
- Precalculation(查询匹配原理) - kylin.apache.org
- Pushdown(下推引擎) - kylin.apache.org
- Aggregate Index(聚合组与维度裁剪) - kylin.apache.org
- Segment(分段状态与自动合并) - kylin.apache.org
- Internal Table Overview(内表与快照互斥) - kylin.apache.org
- Prerequisite(环境与端口要求) - kylin.apache.org
- Single Node Mode(单机部署步骤) - kylin.apache.org
- Quick Start(Docker 与 SSB 样例) - kylin.apache.org
- Kylin JDBC Driver(连接串与限制) - kylin.apache.org
- Release Notes(版本与缺陷清单) - kylin.apache.org
- Apache Kylin 官网首页(关键特性) - kylin.apache.org
- Apache Kylin 4.0.4 Installation Guide(4.x 环境要求) - kylin.incubator.apache.org
社区治理与路线图
- Board Meeting Minutes - Kylin(2024–2026 季度报告) - Apache Whimsy
- Roadmap of Kylin 5.0(CN) - Apache Kylin Blog
- ASF Releases, July 2026(apache-kylin-5.0.4 发布记录) - Apache Community Development
- Overhauling Apache Kylin for the cloud(4.0 架构解读) - Kyligence
- Apache Kylin 5 年成长与未来规划(2021) - Kyligence
- Kylin 4 迁移与选型实践(Youzan) - Apache Confluence
竞品与对比
- Apache Doris vs ClickHouse(官方对比) - doris.apache.org
- Apache Doris vs. the Others(选型指南) - doris.apache.org
- 从 ClickHouse、Druid、Kylin 到 Doris(网易云音乐实践) - SelectDB
- 达达基于 StarRocks 的 OLAP 升级(Kylin 预计算局限) - StarRocks 中文社区
- 大数据 OLAP 系统比较(Kylin 运维门槛) - 腾讯云开发者社区
- CREATE MATERIALIZED VIEW(Trino 物化视图与 WHEN STALE) - trino.io
- Fault-tolerant execution(Trino 容错执行) - trino.io
数据抓取
- GitHub 仓库元数据(Stars/Forks/最近推送):
apache/kylin、apache/doris、StarRocks/starrocks、ClickHouse/ClickHouse、apache/druid、trinodb/trino,抓取于 2026-11-07(经 ungh.cc 镜像接口读取)。
本文链接: https://www.cnblogs.com/johnnyzen
关于博文:评论和私信会在第一时间回复,或直接私信我。
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!
日常交流:大数据与软件开发-QQ交流群: 774386015 【入群二维码】参见左下角。您的支持、鼓励是博主技术写作的重要动力!



浙公网安备 33010602011771号