摘要： 一、Kylin安装环境准备：依赖环境 软件 版本 Hive 2.3.7 Hadoop 2.9.2 HBase 1.3.1 Zookeeper 3.4.14 Kafka 1.0.2 Spark 2.4.5 二、集群规划 server Hadoop01 hadoop02 hadoop03 HDFS Na 阅读全文

摘要： 一、使用Kylin构建Cube：Kylin数据结构 二、准备Kylin构建cube的数据文件 ### 准备数据：准备脚本 ~~~ # 准备数据文件dw_sales_data.txt、dim_channel_data.txt、dim_product_data.txt、dim_region_data.t 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 七、Handling mutations against on-disk files ### Handling mutations against on-disk files ~~~ 更新或者删除已经flush到disk的数据，不会操作MemRowSet。 ~~~ 它的处理过程是这样的:为了确定up 阅读全文

摘要： 一、Flink下沉数据到kudu ### Flink下沉数据到kudu ~~~ # 思路： ~~~ 自定义下沉器 ： extends RichSinkFunction ### 数据源： new UserInfo("001", "Jack", 18), new UserInfo("002", "Ros 阅读全文

摘要： 一、kudu表设计(扩展) ### kudu表设计 ~~~ Tablet是kudu表的水平分区，类似于google Bigtable的tablet，或者HBase的region。 ~~~ 每个tablet存储着一定连续range的数据（key），且tablet两两间的range不会重叠。 ~~~ 一 阅读全文

摘要： 一、KuDuApi常用操作：插入数据 ### 插入数据 ~~~ # 思路： ~~~ 获取客户端 ~~~ 打开一张表 ~~~ 创建会话 ~~~ 设置刷新模式 ~~~ 获取插入实例 ~~~ 声明带插入数据 ~~~ 刷入数据 ~~~ 应用插入实例 ~~~ 关闭会话 ~~~ # AUTO_FLUSH_SYN 阅读全文

摘要： 一、KuDuApi常用操作：更改数据 ### 编程代码实现：更改表数据：和插入数据类似 package com.yanqi.kudu.api; import org.apache.kudu.client.*; public class updateDemo { public static void 阅读全文

摘要： 一、KuDu常用Api(java)：创建maven工程：kudu_project ### 在pom.xml下添加依赖 <dependencies> <dependency> <groupId>org.apache.kudu</groupId> <artifactId>kudu-client</art 阅读全文

摘要： 一、Kudu的架构 ### Kudu架构 ~~~ 与HDFS和HBase相似，Kudu使用单个的Master节点，用来管理集群的元数据， ~~~ 并且使用任意数量的Tablet Server节点用来存储实际数据。可以部署多个Master节点来提高容错性。 二、Master：Kudu.Master架构 阅读全文

摘要： 一、安装和运行 ### 安装前提和准备 ~~~ # 硬件： ~~~ 一台或者多台机器跑kudu-master。 ~~~ 建议跑一个master(无容错机制)、 ~~~ 三个master(允许一个节点运行出错)或者五个master(允许两个节点出错)。 ~~~ 一台或者多台机器跑kudu-tserve 阅读全文

摘要： 一、概述：背景 ### 背景 ~~~ Apache Kudu是由Cloudera开源的存储引擎， ~~~ 可以同时提供低延迟的随机读写和高效的数据分析能力。 ~~~ Kudu支持水平扩展，使用Raft协议进行一致性保证， ~~~ 并且与Cloudera Impala和Apache Spark等当前流 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、UNION ALL子句 ### 你可以使用 UNION ALL 结合任意数量的 SELECT 来扩展其结果。 示例: ~~~ 结果列通过它们的索引进行匹配（在内部的顺序 SELECT). 如果列名称不匹配， ~~~ 则从第一个查询中获取最终结果的名称。 ~~~ 对联合执行类型转换。 ~~~ 例如 阅读全文

摘要： 一、INTO OUTFILE 子句 ### Into Outfile子句 ~~~ 添加 INTO OUTFILE filename 子句（其中filename是字符串） ~~~ SELECT query 将其输出重定向到客户端上的指定文件。 ~~~ # 实现细节 ~~~ 此功能是在可用 命令行客户端 阅读全文

摘要： 一、DISTINCT子句 ### Distingt子句 ~~~ 如果 SELECT DISTINCT 被声明，则查询结果中只保留唯一行。 ~~~ 因此，在结果中所有完全匹配的行集合中，只有一行被保留。 ~~~ # 空处理 ~~~ DISTINCT 适用于 NULL 就好像 NULL 是一个特定的值， 阅读全文

摘要： 一、SELECT 子句 ### Select子句 ~~~ 表达式 指定 SELECT 子句是在上述子句中的所有操作完成后计算的。 ~~~ 这些表达式的工作方式就好像它们应用于结果中的单独行一样。 ~~~ 如果表达式 SELECT 子句包含聚合函数， ~~~ 然后ClickHouse将使用 GROUP 阅读全文

摘要： 一、LIMIT BY子句 ### LimitBy ~~~ 与查询 LIMIT n BY expressions 子句选择第一个 n 每个不同值的行 expressions. ~~~ LIMIT BY 可以包含任意数量的 表达式. ~~~ ClickHouse支持以下语法变体: ~~~ LIMIT [ 阅读全文

摘要： 一、WHERE ### where ~~~ WHERE 子句允许过滤从 FROM 子句 SELECT. ~~~ 如果有一个 WHERE 子句，它必须包含一个表达式与 UInt8 类型。 ~~~ 这通常是一个带有比较和逻辑运算符的表达式。 ~~~ 此表达式计算结果为0的行将从进一步的转换或结果中解释出 阅读全文

摘要： 一、PREWHERE 子句 ### PREWHERE子句 ~~~ Prewhere是更有效地进行过滤的优化。 ~~~ 默认情况下，即使在 PREWHERE 子句未显式指定。 ~~~ 它也会自动移动WHERE 条件到prewhere阶段。 ~~~ PREWHERE 子句只是控制这个优化，如果你认为你知 阅读全文

摘要： 一、JOIN子句 ### array join ~~~ # 创建数据表 hadoop01 :) use default; hadoop01 :) create table query_v1 (title String, value Array(UInt8))engine=Log; hadoop01 阅读全文

摘要： 一、SAMPLE 子句 ### SAMPLE子句 ~~~ 该 SAMPLE 子句允许近似于 SELECT 查询处理。 ~~~ 启用数据采样时，不会对所有数据执行查询，而只对特定部分数据（样本）执行查询。 ~~~ 例如，如果您需要计算所有访问的统计信息，只需对所有访问的1/10分数执行查询， ~~~ 阅读全文

摘要： 一、FROM子句 ### FROM 子句指定从以下数据源中读取数据: ~~~ 表 ~~~ 子查询 ~~~ 表函数 ~~~ JOIN 和 ARRAY JOIN 子句也可以用来扩展 FROM 的功能 ~~~ 子查询是另一个 SELECT 可以指定在 FROM 后的括号内的查询。 ~~~ FROM 子句可 阅读全文

摘要： 一、CREATE DATABASE ### CREATE DATABASE创建数据库 ~~~ 用于创建指定名称的数据库，语法如下： ~~~ CREATE DATABASE [IF NOT EXISTS] db_name ### 如果查询中存在IF NOT EXISTS，则当数据库已经存在时，该查询不 阅读全文

摘要： 一、with子句 ### with子句 ~~~ 本节提供对公共表表达式的支持 (CTE）， ~~~ 所以结果 WITH 子句可以在其余部分中使用 SELECT 查询。 ~~~ # 限制 ~~~ 不支持递归查询。 ~~~ 当在section中使用子查询时，它的结果应该是只有一行的标量。 ~~~ Exp 阅读全文

摘要： 一、数据分区的基本操作： ### 查询分区信息： ~~~ ClickHouse内置了很多system系统表，用于查询自身状态信息。 ### 查询分区表信息 ~~~ # 查看分区表信息 hadoop01 :) use system; hadoop01 :) show tables; ┌─name─── 阅读全文

摘要： 一、分布式DDL执行 ### 分布式DDL执行 ~~~ 在集群上的任意一个节点上执行DDL语句， ~~~ 那么集群上的任意一个节点都会以相同的顺序执行相同的语义。 ### 数据写入： ~~~ # 方式一： hadoop01 :) insert into partition_v1 values (.. 阅读全文

摘要： 一、视图： ### 普通视图和物化视图 ~~~ 普通视图：不保存数据，只是一层单纯的select查询映射，起着简化查询、明晰语义的作用。 ~~~ 物化视图：保存数据，如果源表被写入新数据，物化视图也会同步更新。 ~~~ POPULATE修饰符：决定在创建物化视图的过程中是否将源表的数据同步到物化视图 阅读全文

摘要： 一、默认值表达式： ### 默认值表达式：创建表 ~~~ # 创建表 hadoop01 :) create table dfv_v1 ( id String, c1 DEFAULT 1000, c2 String DEFAULT c1 ) engine = TinyLog; ~~~输出参数 CREA 阅读全文

摘要： 一、分区表： ### 分区表 ~~~ 只有合并数（MergeTree）家族的表引擎支持分区表 ~~~ 可以利用分区表，做定位查询，缩小查询范围。 ~~~ 分区字段不易设的太小 ### 分区表案例： ~~~ # 创建分区表 hadoop01 :) CREATE TABLE partition_v1 ( 阅读全文

摘要： 一、Distributed用法 ### Distributed表引擎 ~~~ Distributed表引擎： ~~~ all ： 全局查询的 ~~~ local：真正的保存数据的表 ### Distributed ~~~ 分布式引擎，本身不存储数据, 但可以在多个服务器上进行分布式查询。 ~~~ 读 阅读全文

摘要： 一、DDL ### 创建库： ~~~ # 创建数据库 hadoop01 :) create database mydatabase; ### 执行完成以后，会在clickhouse的安装路径后生成mydatabase的文件目录： ~~~ # 查看库表本地存储地址 [root@hadoop01 ~]# 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、ReplicatedMergeTree原理 ### 数据结构 [zk: localhost:2181(CONNECTED) 8] ls /clickhouse/tables/01/replicated_sales_5 [metadata, temp, mutations, log, leader 阅读全文

摘要： 一、分片 ### 修改配置参数文件： ~~~ # 修改配置文件参数 [root@hadoop01 ~]# vim /etc/clickhouse-server/config.d/metrika.xml ~~~ 下列为分片机制配置参数 <yandex> <!-- 修改remote-servers集群配 阅读全文

摘要： 一、副本和分片 ### 副本 ~~~ ReplicatedMergeTree ~~~ zk: 实现多个实例之间的通信。 ### 副本的特点：作为数据副本的主要实现载体，ReplicatedMergeTree在设计上有一些显著特点: ~~~ # 依赖ZooKeeper： ~~~ 在执行INSERT和A 阅读全文