2022 年 4月 14 日随笔档案 - yanqi_vip

|NO.Z.00012|——————————|^^ 部署 ^^|——|Hadoop&ElasticSearch.V12|——|ELK.v12|集群|索引管理|IK分词器部署.V1|

摘要：一、安装IK分词器 ### 安装IK分词器 ~~~ # hadoop01~03：使用root用户部署IK分词器，然后重启ES服务 ~~~ # 在elasticsearch安装目录的plugins目录下新建 analysis-ik 目录 [root@hadoop02 ~]# mkdir /opt/ya 阅读全文

posted @ 2022-04-14 15:33 yanqi_vip 阅读(35) 评论(0) 推荐(0)

|NO.Z.00010|——————————|^^ 部署 ^^|——|Hadoop&ElasticSearch.V10|——|ELK.v10|集群|Kibana服务部署.V2|

摘要：一、部署kibana服务 ### 下载kibana版本包 ~~~ # 下载kibana服务版本包：使用root用户部署 [root@hadoop02 software]# wget -c https://artifacts.elastic.co/downloads/kibana/kibana-7.3 阅读全文

posted @ 2022-04-14 15:32 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00011|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V11|——|ELK.v11|集群|索引管理|索引操作|

摘要：一、索引操作（创建、查看、删除） ### 创建索引库语法 ~~~ Elasticsearch采用Rest风格API，因此其API就是一次http请求， ~~~ 你可以用任何工具发起http请求 ~~~ # 语法 PUT / 索引名称 { "settings": { "属性名": "属性值" } } 阅读全文

posted @ 2022-04-14 15:32 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00009|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V09|——|ELK.v09|集群|Kibana服务部署.V1|

摘要：一、Kibana概述 ### 什么是Kibana ~~~ Kibana是一个基于Node.js的Elasticsearch索引库数据统计工具， ~~~ 可以利用Elasticsearch的聚合功能，生成各种图表，如柱形图，线状图，饼图等。 ~~~ 而且还提供了操作Elasticsearch索引数据的阅读全文

posted @ 2022-04-14 15:31 yanqi_vip 阅读(31) 评论(0) 推荐(0)

|NO.Z.00008|——————————|^^ 部署 ^^|——|Hadoop&ElasticSearch.V08|——|ELK.v08|集群|ElasticSearch-head插件部署.V2|

摘要：一、ElasticSearch-head：谷歌浏览其插件方式安装：# 测试环境推荐使用 ### ElasticSearch-head：谷歌浏览其插件方式安装：# 测试环境推荐使用 ~~~ Elasticsearch 5之后则需要将elasticsearch-head服务单独运行， ~~~ 并且支持C 阅读全文

posted @ 2022-04-14 15:30 yanqi_vip 阅读(83) 评论(0) 推荐(0)

|NO.Z.00006|——————————|^^ 部署 ^^|——|Hadoop&ElasticSearch.V06|——|ELK.v06|集群|ElasticSearch集群部署.V1|

摘要：一、Elasticsearch 集群环境准备 ### hadoop01~03修改系统配置：修改/etc/sysctl.conf ~~~ # 修改/etc/sysctl.conf [root@hadoop01 ~]# vim /etc/sysctl.conf ~~~在文件末尾添加如下参数 vm.max 阅读全文

posted @ 2022-04-14 15:29 yanqi_vip 阅读(70) 评论(0) 推荐(0)

|NO.Z.00007|——————————|^^ 部署 ^^|——|Hadoop&ElasticSearch.V07|——|ELK.v07|集群|ElasticSearch-head插件部署.V1|

摘要：一、安装elasticsearch-head插件 ### Elasticsearch Head插件介绍及安装和验证主从环境 ~~~ Elasticsearch Head插件介绍及安装 ### elasticsearch-head 简介 ~~~ elasticsearch-head是一个界面化的集群操阅读全文

posted @ 2022-04-14 15:29 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00003|——————————|^^ 部署 ^^|——|Hadoop&ElasticSearch.V03|——|ELK.v03|部署|Elasticsearch Single-Node Mode部署|

摘要：一、Elasticsearch Single-Node Mode部署 ### Elasticsearch Single-Node Mode部署 ~~~ Elasticsearch是一个分布式全文搜索引擎， ~~~ 支持单节点模式(Single-Node Mode)和集群模式(Cluster Mode 阅读全文

posted @ 2022-04-14 15:28 yanqi_vip 阅读(45) 评论(0) 推荐(0)

|NO.Z.00004|——————————|^^ 部署 ^^|——|Hadoop&ElasticSearch.V04|——|ELK.v04|部署|Elasticsearch Single-Node Mode使用|

摘要：一、简单使用es ### 创建blog01索引 ~~~ # 创建blog01索引：若是返回是true，说明创建索引是成功的 [root@hadoop01 ~]# curl -XPUT http://hadoop01:9200/blog01/?pretty ~~~输出参数 { "acknowledge 阅读全文

posted @ 2022-04-14 15:28 yanqi_vip 阅读(40) 评论(0) 推荐(0)

|NO.Z.00005|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V05|——|ELK.v05|架构|ElasticSearch架构图及基本概念|

摘要：一、ElasticSearch架构图以及基本概念(术语) ### 概述 ~~~ Elasticsearch是面向文档(document oriented)的， ~~~ 这意味着它可以存储整个对象或文档(document)。 ~~~ 然而它不仅仅是存储，还会索引(index)每个文档的内容使之可以被搜阅读全文

posted @ 2022-04-14 15:28 yanqi_vip 阅读(87) 评论(0) 推荐(0)

|NO.Z.00001|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V01|——|ELK.v01|概述|集中式日志分析系统|

摘要：一、ElasticSearch ### ELK：集中式日志系统 ~~~ 日志，对于任何系统来说都是及其重要的组成部分。 ~~~ 在计算机系统里面，更是如此。 ~~~ 但是由于现在的计算机系统大多比较复杂，很多系统都不是在一个地方，甚至都是跨国界的； ~~~ 即使是在一个地方的系统，也有不同的来源，比阅读全文

posted @ 2022-04-14 15:27 yanqi_vip 阅读(37) 评论(0) 推荐(0)

|NO.Z.00002|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V02|——|ELK.v02|系统介绍|

摘要：一、Elasticsearch ### 什么是ElasticSearch ~~~ Elasticsearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎， ~~~ 它可以近乎实时的存储、检索数据； ~~~ 本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。 ~~~ es也使用阅读全文

posted @ 2022-04-14 15:27 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-14 15:26 yanqi_vip 阅读(10) 评论(0) 推荐(0)

|NO.Z.00016|——————————|BigDataEnd|——|Hadoop&OLAP_Druid.V16|——|Druid.v16|实战|Druid实战案例.V5|

摘要：一、Druid案例小结 ### Druid案例总结 ~~~ 在配置摄入源时要设置为True从流的开始进行消费数据，否则在数据源中可能查不到数据 ~~~ Druid的join能力非常有限，分组或者聚合多的场景推荐使用 ~~~ sql支持能力也非常受限 ~~~ 数据的分区组织只有时间序列一种方式 Wal 阅读全文

posted @ 2022-04-14 15:25 yanqi_vip 阅读(20) 评论(0) 推荐(0)

|NO.Z.00017|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-14 15:25 yanqi_vip 阅读(10) 评论(0) 推荐(0)

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-14 15:25 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.00014|——————————|BigDataEnd|——|Hadoop&OLAP_Druid.V14|——|Druid.v14|实战|Druid实战案例.V3|

摘要：一、摄取kafka数据 ### 摄取kafka数据 ~~~ 摄取kafka数据：定义数据摄取规范，json数据要拉平，不用定义Rollup 二、启动数据源 ### 启动数据源 ~~~ 启动数据源 ~~~ 数据查询三、加载数据源json文件 { "type": "kafka", "spec": { 阅读全文

posted @ 2022-04-14 15:24 yanqi_vip 阅读(16) 评论(0) 推荐(0)

|NO.Z.00015|——————————|BigDataEnd|——|Hadoop&OLAP_Druid.V15|——|Druid.v15|实战|Druid实战案例.V4|

摘要：一、启动kafka生产者加载数据流 ### 查询数据流记录总数 ~~~ # 查记录总数 select count(*) as recordcount from yanqidruid2 ### 查订单总数 ~~~ # 查订单总数 select count(distinct orderId) as or 阅读全文

posted @ 2022-04-14 15:24 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00013|——————————|BigDataEnd|——|Hadoop&OLAP_Druid.V13|——|Druid.v13|实战|Druid实战案例.V2|

摘要：一、编程实现kafka生产者 ### 编程实现kafka生产者：在SparkBigData工程下创建scala程序：KafkaProducerForDruid package cn.yanqi.druid import java.util.Properties import org.apache.k 阅读全文

posted @ 2022-04-14 15:23 yanqi_vip 阅读(31) 评论(0) 推荐(0)

|NO.Z.00011|——————————|BigDataEnd|——|Hadoop&OLAP_Druid.V11|——|Druid.v11|架构|索引压缩机制|

摘要：一、索引及压缩机制 ### Druid的查询时延低性能好的主要是因为采用了五个技术点： ~~~ 数据预聚合 ~~~ 列式存储、数据压缩 ~~~ Bitmap 索引 ~~~ mmap（内存文件映射方式） ~~~ 查询结果的中间缓存二、数据聚合 ### 数据预聚合 ~~~ Druid通过一个roll- 阅读全文

posted @ 2022-04-14 15:22 yanqi_vip 阅读(37) 评论(0) 推荐(0)

|NO.Z.00012|——————————|BigDataEnd|——|Hadoop&OLAP_Druid.V12|——|Druid.v12|实战|Druid实战案例.V1|

摘要：一、需求分析 ### 场景分析 ~~~ 数据量大，需要在这些数据中根据业务需要灵活做查询 ~~~ 实时性要求高 ~~~ 数据实时的推过来，要在秒级对数据进行分析并查询出结果二、数据分析 ### 数据描述 ~~~ # 数据json串 {"ts":1607499629841,"orderId":"10 阅读全文

posted @ 2022-04-14 15:22 yanqi_vip 阅读(38) 评论(0) 推荐(0)

|NO.Z.00010|——————————|BigDataEnd|——|Hadoop&OLAP_Druid.V10|——|Druid.v10|架构|索引服务|

摘要：一、索引服务 ### 索引服务 ~~~ 索引服务：数据导入并创建 segments 数据文件的服务 ~~~ 索引服务是一个高可用的分布式服务，采用主从结构作为架构模式，索引服务由三大组件构成 ~~~ overlord 作为主节点 ~~~ middlemanager是从节点 ~~~ peon用于运行一阅读全文

posted @ 2022-04-14 15:21 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.Z.00008|——————————|BigDataEnd|——|Hadoop&OLAP_Druid.V08|——|Druid.v08|架构|基础架构原理|

摘要：一、基础架构二、Druid 总体包含以下 6 类节点： ### Coordinator node： ~~~ 主要负责历史节点的数据负载均衡，以及通过规则管理数据的生命周期。 ~~~ 协调节点告诉历史节点加载新数据、卸载过期数据、复制数据、和为了负载均衡移动数据。 ~~~ Coordinator 阅读全文

posted @ 2022-04-14 15:21 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00009|——————————|BigDataEnd|——|Hadoop&OLAP_Druid.V09|——|Druid.v09|架构|数据存储|

摘要：一、数据存储 ### 数据存储 ~~~ Druid中的数据存储在被称为DataSource中，DataSource类似RDBMS中的 Table ~~~ 每个DataSource按照时间划分， ~~~ 每个时间范围称为一个Chunk（比如按天分区，则一个chunk为一天） ~~~ 在Chunk中数据阅读全文

posted @ 2022-04-14 15:21 yanqi_vip 阅读(43) 评论(0) 推荐(0)

|NO.Z.00007|——————————|BigDataEnd|——|Hadoop&OLAP_Druid.V07|——|Druid.v07|入门|从HDFS加载数据.V1|

摘要：一、从HDFS中加载数据 ### 在hdfs中创建数据目录 ~~~ # 在kafka中准备配置文件 [root@hadoop02 ~]# hdfs dfs -cat /data/druidlog.dat {"ts":"2021-10-01T00:01:35Z","srcip":"6.6.6.6", 阅读全文

posted @ 2022-04-14 14:58 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00006|——————————|BigDataEnd|——|Hadoop&OLAP_Druid.V06|——|Druid.v06|入门|从kafka加载流式数据.V2|

摘要：一、提取参数说明 ### 数据摄取规范 ~~~ dataSchema。指定传入数据的Schema ~~~ ioConfig。指定数据的来源和去向 ~~~ tuningConfig。指定各种摄取参数 { "type": "kafka", "spec": { "ioConfig": Object { . 阅读全文

posted @ 2022-04-14 14:56 yanqi_vip 阅读(41) 评论(0) 推荐(0)

|NO.Z.00005|——————————|BigDataEnd|——|Hadoop&OLAP_Druid.V05|——|Druid.v05|入门|从kafka加载流式数据.V1|

摘要：一、从Kafka中加载流式数据 ### 从Kafka中加载流式数据 ~~~ 数据及需求说明：Druid典型应用架构：不在Druid中处理复杂的数据转换清洗工作 ### 假设有以下网络流量数据： ~~~ ts：时间戳 ~~~ srcip：发送端 IP 地址 ~~~ srcport：发送端端口号 ~~~ 阅读全文

posted @ 2022-04-14 14:55 yanqi_vip 阅读(82) 评论(0) 推荐(0)

|NO.Z.00004|——————————|^^ 部署 ^^|——|Hadoop&OLAP_Druid.V04|——|Druid.v04|部署|集群部署|

摘要：一、集群部署 ### 环境资源说明 ~~~ 虚拟机每个节点2core、3G ~~~ DeepStorage：Hadoop 2.9.2 ### 部署规划：集群部署采用的分配如下 ~~~ 主节点部署 Coordinator 和 Overlord进程 ~~~ 数据节点运行 Historical 和 Mid 阅读全文

posted @ 2022-04-14 14:51 yanqi_vip 阅读(21) 评论(0) 推荐(0)

|NO.Z.00002|——————————|BigDataEnd|——|Hadoop&OLAP_Druid.V02|——|Druid.v02|简介架构|体系机构|

摘要：一、体系架构 ### Druid进程和服务 ~~~ # Coordinator ~~~ 进程管理群集上的数据可用性。 ~~~ 从metastore中读取Segment的元数据，并决定哪些Segments需要被加载到集群中。 ~~~ 使用ZooKeeper查看已经存在的历史节点，了解集群各个节点负载情阅读全文

posted @ 2022-04-14 14:50 yanqi_vip 阅读(16) 评论(0) 推荐(0)

|NO.Z.00003|——————————|^^ 部署 ^^|——|Hadoop&OLAP_Druid.V03|——|Druid.v03|部署|单服务器部署|

摘要：一、Druid 部署 ### 下载Druid版本包并解压版本包 ~~~ # 下载 Druid 安装包、并解压缩： ~~~ # Druid官网：https://druid.apache.org/ [root@hadoop01 ~]# cd /opt/yanqi/software/ ~~~ # 官网源下阅读全文

posted @ 2022-04-14 14:50 yanqi_vip 阅读(9) 评论(0) 推荐(0)

|NO.Z.00001|——————————|BigDataEnd|——|Hadoop&OLAP_Druid.V01|——|Druid.v01|简介架构概述|

摘要：一、Druid概述 ### 什么是Druid ~~~ # 数据分析的基础架构可以分为以下几类： ~~~ 使用Hadoop/Spark进行分析 ~~~ 将Hadoop/Spark的结果导入 RDBMS 中提供数据分析 ~~~ 将结果保存到容量更大的 NoSQL 数据库中，解决数据分析的存储瓶颈，例如：阅读全文

posted @ 2022-04-14 14:49 yanqi_vip 阅读(15) 评论(0) 推荐(0)

|NO.Z.00000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-14 14:48 yanqi_vip 阅读(11) 评论(0) 推荐(0)

|NO.Z.00028|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-14 14:47 yanqi_vip 阅读(18) 评论(0) 推荐(0)

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-14 14:47 yanqi_vip 阅读(9) 评论(0) 推荐(0)

|NO.Z.00027|——————————|BigDataEnd|——|Hadoop&OLAP_Kylin.V27|——|Kylin.v27|Kylin构建Cube|实时OLAP.V3|

摘要：一、定义数据源 ### 定义数据源 ~~~ # 1、创建数据源 ~~~ # 2、填写kafka集群信息 ~~~ # 3、通过kylin加载的json字段：创建流表维表格式 ~~~ # 4、查看加载的流式实时数据源二、创建Model ### 设计Model ~~~ # 当前，流cube不支持与loo 阅读全文

posted @ 2022-04-14 14:46 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00024|——————————|BigDataEnd|——|Hadoop&OLAP_Kylin.V24|——|Kylin.v24|Kylin构建Cube|流式构建.V2|

摘要：一、定义Model ### 定义Model ~~~ 1、Model Designer ~~~ 2、Data Model：因为把维表都包含了，不涉及到维表，只要选择数据源即可 ~~~ 3、Dimensions ~~~ 4、Measures ~~~ 5、settings——>Save 二、定义cube 阅读全文

posted @ 2022-04-14 14:45 yanqi_vip 阅读(42) 评论(0) 推荐(0)

|NO.Z.00025|——————————|BigDataEnd|——|Hadoop&OLAP_Kylin.V25|——|Kylin.v25|Kylin构建Cube|实时OLAP.V1|

摘要：一、实时OLAP ### 实时OLAP ~~~ Kylin V3.0.0发布了全新的实时OLAP功能，借助新添加的流接收器群集的功能， ~~~ Kylin可以以亚秒级的延迟查询流数据。 ~~~ 如果希望以微批量方式（大约10分钟的延迟）接收kafka事件，则可以考虑使用流式构建。 ~~~ 这两个功能阅读全文

posted @ 2022-04-14 14:45 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.Z.00026|——————————|^^ 部署 ^^|——|Hadoop&OLAP_Kylin.V26|——|Kylin.v26|Kylin构建Cube|实时OLAP.V2|

摘要：一、OLAP环境准备 ### OLAP环境准备 ~~~ # 进入服务部署目录 [root@hadoop02 ~]# cd /opt/yanqi/servers/ ~~~ # coordinator [root@hadoop02 servers]# cp -r kylin-3.1.1/ kylin-3 阅读全文

posted @ 2022-04-14 14:45 yanqi_vip 阅读(21) 评论(0) 推荐(0)

|NO.Z.00023|——————————|BigDataEnd|——|Hadoop&OLAP_Kylin.V23|——|Kylin.v23|Kylin构建Cube|流式构建.V1|

摘要：一、流式构建 ### 流式构建 ~~~ 实时数据更新是一种普遍的需求，快速分析变化趋势才能做出正确的决策。 ~~~ Kylin V1.6 发布了可扩展的 streaming cubing 功能， ~~~ 它利用 Hadoop 消费 Kafka 数据的方式构建 cube。 ~~~ 这种方式构建的Cub 阅读全文

posted @ 2022-04-14 14:44 yanqi_vip 阅读(35) 评论(0) 推荐(0)

|NO.Z.00021|——————————|BigDataEnd|——|Hadoop&OLAP_Kylin.V21|——|Kylin.v21|Cube优化|聚合组|强制/层级/联合维度|

摘要：一、聚合组 ### 聚合组 ~~~ 随着维度数目的增加，Cuboid 的数量会爆炸式地增长。 ~~~ 为了缓解 Cube 的构建压力，Apache Kylin 引入了一系列的高级设置， ~~~ 帮助用户筛选出真正需要的 Cuboid（本质是要减少Cube构建过程中的预计算）。 ### 这些高级设置包阅读全文

posted @ 2022-04-14 14:43 yanqi_vip 阅读(64) 评论(0) 推荐(0)

|NO.Z.00022|——————————|BigDataEnd|——|Hadoop&OLAP_Kylin.V22|——|Kylin.v22|Cube优化|Rowkeys|编码/顺序/分片|

摘要：一、Rowkeys ### Rowkeys ~~~ 简单的说Cuboid的维度会映射为HBase的Rowkey，Cuboid的指标会映射为HBase的Value。二、Rowkeys示例说明 ### Rowkeys示例说明 ~~~ # 如上图原始表所示： ~~~ Hive表有两个维度列year和ci 阅读全文

posted @ 2022-04-14 14:43 yanqi_vip 阅读(31) 评论(0) 推荐(0)

|NO.Z.00020|——————————|BigDataEnd|——|Hadoop&OLAP_Kylin.V20|——|Kylin.v20|Cube优化|使用衍生维度.V3|

摘要：一、案例二：定义衍生维度及对比： ### 定义cube ~~~ 构建与前面Cube4类似的Cube7，仅在维度定义有区别，以下是二者的对比：二、定义cube ### 定义cube ~~~ # 1、定义一个cube：基于yanqi_sales_model4定义cube7 ~~~ # 2、定义维度 ~ 阅读全文

posted @ 2022-04-14 14:42 yanqi_vip 阅读(48) 评论(0) 推荐(0)

|NO.Z.00019|——————————|BigDataEnd|——|Hadoop&OLAP_Kylin.V19|——|Kylin.v19|Cube优化|使用衍生维度.V2|

摘要：一、加载数据源 ### 加载数据源 ### 查看创建日期维表的cube 二、定义model：案例一 ### 定义model：案例一 ~~~ # 1、新建一个model1、新建一个model ~~~ # 2、定义事实表 ~~~ # 3、定义维表 ~~~ # 4、定义维度：全部加进去 ~~~ # 5、定阅读全文

posted @ 2022-04-14 14:42 yanqi_vip 阅读(38) 评论(0) 推荐(0)

|NO.Z.00018|——————————|BigDataEnd|——|Hadoop&OLAP_Kylin.V18|——|Kylin.v18|Cube优化|使用衍生维度.V1|

摘要：一、使用衍生维度 ### 使用衍生维度 ~~~ 一个维度可以是普通维度或者是衍生维度(Derived)。 ~~~ 将维度表的维度设置为衍生维度， ~~~ 这个维度不会参与预计算，而是使用维度表的主键(或事实表的外键)来替代它。 ~~~ Kylin会在底层记录维表主键与维度表其他维度之间的映射关系，阅读全文

posted @ 2022-04-14 14:41 yanqi_vip 阅读(53) 评论(0) 推荐(0)

|NO.Z.00017|——————————|BigDataEnd|——|Hadoop&OLAP_Kylin.V17|——|Kylin.v17|Cube优化|检查Cube大小|

摘要：一、检查Cube大小 ### 检查Cube大小 ~~~ 在Web GUI的Model页面选择一个READY状态的Cube， ~~~ 光标移到该Cube的Cube Size列时，Web GUI会提示Cube的源数据大小， ~~~ 以及当前Cube的大小除以源数据大小的比例，称为膨胀率（Expansio 阅读全文

posted @ 2022-04-14 14:40 yanqi_vip 阅读(40) 评论(0) 推荐(0)

|NO.Z.00015|——————————|BigDataEnd|——|Hadoop&OLAP_Kylin.V15|——|Kylin.v15|Cube优化|Cuboid剪枝优化|

摘要：一、Cube优化 ### Cuboid剪枝优化 ~~~ Cuboid 特指 Kylin 中在某一种维度组合下所计算的所有数据。 ~~~ 以减少Cuboid数量为目的的优化统称为Cuboid剪枝。 ### 在没有采取任何优化措施的情况下，Kylin会对每一种维度的组合进行预计算。 ~~~ 如果有4个维阅读全文

posted @ 2022-04-14 14:39 yanqi_vip 阅读(62) 评论(0) 推荐(0)

|NO.Z.00016|——————————|BigDataEnd|——|Hadoop&OLAP_Kylin.V16|——|Kylin.v16|Cube优化|检查Cuboid数量|

摘要：一、检查Cuboid数量 ### 检查Cuboid数量 ~~~ Apache Kylin提供了一个简单的工具， ~~~ 检查Cube中哪些Cuboid最终被预计算了，称这些Cuboid为被物化的Cuboid， ~~~ 该工具还能给出每个Cuboid所占空间的估计值。 ~~~ 由于该工具需要在对数据进阅读全文

posted @ 2022-04-14 14:39 yanqi_vip 阅读(27) 评论(0) 推荐(0)

|NO.Z.00013|——————————|BigDataEnd|——|Hadoop&OLAP_Kylin.V13|——|Kylin.v13|Kylin构建Cube|Segment管理|配置保留|

摘要：一、配置保留Segment ### 配置保留Segment ~~~ 自动合并是将多个Segment合并为一个Segment，以达到清理碎片的目的。 ~~~ 保留Segment则是及时清理不再使用的Segment。 ### 在很多场景中，只会对过去一段时间内的数据进行查询，例如： ~~~ 对于某个只显阅读全文

posted @ 2022-04-14 14:38 yanqi_vip 阅读(39) 评论(0) 推荐(0)

|NO.Z.00014|——————————|^^ 配置 ^^|——|Hadoop&OLAP_Kylin.V14|——|Kylin.v14|Kylin构建Cube|Segment管理|使用JDBC连接操作Kylin|

摘要：一、使用JDBC连接操作Kylin ### 使用JDBC连接操作Kylin ~~~ 要将数据以可视化方式展示出来，需要使用Kylin的JDBC方式连接执行SQL，获取Kylin的执行结果 ~~~ 使用Kylin的JDBC与JDBC操作MySQL一致 ~~~ jdbc url：jdbc:kylin:/ 阅读全文

posted @ 2022-04-14 14:38 yanqi_vip 阅读(40) 评论(0) 推荐(0)

|NO.Z.00012|——————————|BigDataEnd|——|Hadoop&OLAP_Kylin.V12|——|Kylin.v12|Kylin构建Cube|Segment管理|自动触发合并|

摘要：一、自动触发合并segment ### 自动触发合并segment ~~~ 手动维护Segment很繁琐，人工成本很高，Kylin中是可以支持自动合并Segment。 ~~~ 在Cube Designer的“Refresh Settings”的页面中有： ~~~ Auto Merge Thresho 阅读全文

posted @ 2022-04-14 14:37 yanqi_vip 阅读(69) 评论(0) 推荐(0)

|NO.Z.00010|——————————|BigDataEnd|——|Hadoop&OLAP_Kylin.V10|——|Kylin.v10|Kylin构建Cube|增量构建Cube.V3|

摘要：一、定义数据源 ### 定义数据源 ~~~ 定义数据源 ~~~ 加载数据 ~~~ 查看加载的数据二、定义model ### 定义model ~~~ 定义model ~~~ 定义分区三、定义cube ### 定义cube ~~~ 定义cube ~~~ 定义维度 ~~~ 措施 ~~~ Refresh 阅读全文

posted @ 2022-04-14 14:36 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00011|——————————|BigDataEnd|——|Hadoop&OLAP_Kylin.V11|——|Kylin.v11|Kylin构建Cube|Segment管理|手动触发合并删除|

摘要：一、Segment管理 ### Segment管理 ~~~ 增量构建的Cube每天都可能会有新的增量， ~~~ 这样的Cube中最终可能包含很多 Segment，这将导致Kylin性能受到严重影响。 ~~~ 从执行引擎的角度来说，运行时的查询引擎需要聚合多个Segment的结果才能返回正确的查询结果阅读全文

posted @ 2022-04-14 14:36 yanqi_vip 阅读(56) 评论(0) 推荐(0)

|NO.Z.00009|——————————|BigDataEnd|——|Hadoop&OLAP_Kylin.V09|——|Kylin.v09|Kylin构建Cube|增量构建Cube.V2|

摘要：一、增量Cube构建 ### 增量cube构建流程 ~~~ 步骤：定义数据源 => 定义model => 定义Cube => 构建Cube 二、定义数据源 ### 准备数据源 ~~~ # 准备数据源 [root@hadoop02 ~]# ll /data/kylin/ ~~~准备数据源 dw_sal 阅读全文

posted @ 2022-04-14 14:35 yanqi_vip 阅读(15) 评论(0) 推荐(0)

|NO.Z.00008|——————————|BigDataEnd|——|Hadoop&OLAP_Kylin.V08|——|Kylin.v08|Kylin构建Cube|增量构建Cube.V1|

摘要：一、增量构建Cube ### 增量构建cube ~~~ 在大多数业务场景下，Hive中的数据处于不断增长的状态 ~~~ 为了支持在构建Cube时，无需重复处理历史数据，引入增量构建功能二、Segment ### Kylin将Cube划分为多个Segment（对应就是HBase中的一个表） ~~~ 阅读全文

posted @ 2022-04-14 14:34 yanqi_vip 阅读(45) 评论(0) 推荐(0)

|NO.Z.00007|——————————|BigDataEnd|——|Hadoop&OLAP_Kylin.V07|——|Kylin.v07|Kylin构建Cube|4个维度构建cube|

摘要：一、创建Cube（按日期、区域、产品、渠道） ### Cube设计： ### cube执行流程 ~~~ 维度：日期、渠道、区域、产品 ~~~ 指标：销售总金额、订单总笔数 ### SQL： select t1.date1, t2.regionid, t2.regionname, t3.product 阅读全文

posted @ 2022-04-14 14:33 yanqi_vip 阅读(20) 评论(0) 推荐(0)

|NO.Z.00005|——————————|BigDataEnd|——|Hadoop&OLAP_Kylin.V05|——|Kylin.v05|Kylin构建Cube|按日期维度构建cube.V2|

摘要：一、按日期维度构建cube： ### 按日期维度构建cube： ~~~ 创建项目（Project） ~~~ 输入项目名称二、创建数据源 ### 创建数据源 ~~~ 创建数据源（DataSource）三、创建模型（Model）选择new model ### 创建模型（Model）选择new mod 阅读全文

posted @ 2022-04-14 14:32 yanqi_vip 阅读(31) 评论(0) 推荐(0)

|NO.Z.00006|——————————|BigDataEnd|——|Hadoop&OLAP_Kylin.V06|——|Kylin.v06|Kylin构建Cube|按渠道维度构建cube|

摘要：一、创建Cube（按渠道） ### Cube设计： ### 设计结构 ~~~ 维度：渠道 ~~~ 指标：销售总金额、订单总笔数、最大订单金额、订单的平均金额 ### SQL： select t2.channelid, t2.channelname, sum(t1.price), max(t1.pri 阅读全文

posted @ 2022-04-14 14:32 yanqi_vip 阅读(23) 评论(0) 推荐(0)

|NO.Z.00004|——————————|BigDataEnd|——|Hadoop&OLAP_Kylin.V04|——|Kylin.v04|Kylin构建Cube|按日期维度构建cube.V1|

摘要：一、创建 Cube（按日期） ### 核心步骤：DataSource => Model => Cube ~~~ Model：描述了一个星型模式的数据结构， ~~~ 定义事实表（Fact Table）和维表（Lookup Table），以及它们之间的关系。 ~~~ 基于一个model可创建多个Cube 阅读全文

posted @ 2022-04-14 14:31 yanqi_vip 阅读(41) 评论(0) 推荐(0)

|NO.Z.00001|——————————|BigDataEnd|——|Hadoop&OLAP_Kylin.V01|——|Kylin.v01|概述|

摘要：一、Apache Kylin 实战 ### 课程概述： ~~~ 概述(历史、特点、应用场景；基本术语；技术架构；工作原理；生态) ~~~ 安装配置 ~~~ 构建Cube (全量构建) ~~~ 增量构建Cube ~~~ Cube优化 ~~~ 流式构建 ### Apache Kylin实战 ~~~ Ap 阅读全文

posted @ 2022-04-14 14:30 yanqi_vip 阅读(40) 评论(0) 推荐(0)

|NO.Z.00002|——————————|^^ 部署 ^^|——|Hadoop&OLAP_Kylin.V02|——|Kylin.v02|安装配置|

摘要：一、Kylin安装环境准备：依赖环境软件版本 Hive 2.3.7 Hadoop 2.9.2 HBase 1.3.1 Zookeeper 3.4.14 Kafka 1.0.2 Spark 2.4.5 二、集群规划 server Hadoop01 hadoop02 hadoop03 HDFS Na 阅读全文

posted @ 2022-04-14 14:30 yanqi_vip 阅读(38) 评论(0) 推荐(0)

|NO.Z.00003|——————————|^^ 配置 ^^|——|Hadoop&OLAP_Kylin.V03|——|Kylin.v03|Kylin构建Cube|准备数据源|

摘要：一、使用Kylin构建Cube：Kylin数据结构二、准备Kylin构建cube的数据文件 ### 准备数据：准备脚本 ~~~ # 准备数据文件dw_sales_data.txt、dim_channel_data.txt、dim_product_data.txt、dim_region_data.t 阅读全文

posted @ 2022-04-14 14:30 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.Z.00010|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-14 14:27 yanqi_vip 阅读(9) 评论(0) 推荐(0)

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-14 14:27 yanqi_vip 阅读(8) 评论(0) 推荐(0)

|NO.Z.00000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-14 14:27 yanqi_vip 阅读(7) 评论(0) 推荐(0)

|NO.Z.00009|——————————|BigDataEnd|——|Hadoop&OLAP_Kudu.V09|——|kudu.v09|表设计.V2|

摘要：七、Handling mutations against on-disk files ### Handling mutations against on-disk files ~~~ 更新或者删除已经flush到disk的数据，不会操作MemRowSet。 ~~~ 它的处理过程是这样的:为了确定up 阅读全文

posted @ 2022-04-14 14:26 yanqi_vip 阅读(40) 评论(0) 推荐(0)

|NO.Z.00007|——————————|BigDataEnd|——|Hadoop&OLAP_Kudu.V07|——|kudu.v07|Flink下沉数据到kudu|

摘要：一、Flink下沉数据到kudu ### Flink下沉数据到kudu ~~~ # 思路： ~~~ 自定义下沉器： extends RichSinkFunction ### 数据源： new UserInfo("001", "Jack", 18), new UserInfo("002", "Ros 阅读全文

posted @ 2022-04-14 14:25 yanqi_vip 阅读(57) 评论(0) 推荐(0)

|NO.Z.00008|——————————|BigDataEnd|——|Hadoop&OLAP_Kudu.V08|——|kudu.v08|表设计.V1|

摘要：一、kudu表设计(扩展) ### kudu表设计 ~~~ Tablet是kudu表的水平分区，类似于google Bigtable的tablet，或者HBase的region。 ~~~ 每个tablet存储着一定连续range的数据（key），且tablet两两间的range不会重叠。 ~~~ 一阅读全文

posted @ 2022-04-14 14:25 yanqi_vip 阅读(43) 评论(0) 推荐(0)

|NO.Z.00005|——————————|BigDataEnd|——|Hadoop&OLAP_Kudu.V05|——|kudu.v05|常用API|插入查询数据|

摘要：一、KuDuApi常用操作：插入数据 ### 插入数据 ~~~ # 思路： ~~~ 获取客户端 ~~~ 打开一张表 ~~~ 创建会话 ~~~ 设置刷新模式 ~~~ 获取插入实例 ~~~ 声明带插入数据 ~~~ 刷入数据 ~~~ 应用插入实例 ~~~ 关闭会话 ~~~ # AUTO_FLUSH_SYN 阅读全文

posted @ 2022-04-14 14:24 yanqi_vip 阅读(82) 评论(0) 推荐(0)

|NO.Z.00006|——————————|BigDataEnd|——|Hadoop&OLAP_Kudu.V06|——|kudu.v06|常用API|更改表数据|删除指定行|

摘要：一、KuDuApi常用操作：更改数据 ### 编程代码实现：更改表数据：和插入数据类似 package com.yanqi.kudu.api; import org.apache.kudu.client.*; public class updateDemo { public static void 阅读全文

posted @ 2022-04-14 14:24 yanqi_vip 阅读(43) 评论(0) 推荐(0)

|NO.Z.00004|——————————|BigDataEnd|——|Hadoop&OLAP_Kudu.V04|——|kudu.v04|常用API|创建删除表|

摘要：一、KuDu常用Api(java)：创建maven工程：kudu_project ### 在pom.xml下添加依赖 <dependencies> <dependency> <groupId>org.apache.kudu</groupId> <artifactId>kudu-client</art 阅读全文

posted @ 2022-04-14 14:23 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00002|——————————|BigDataEnd|——|Hadoop&OLAP_Kudu.V02|——|kudu.v02|架构|Master|Table|

摘要：一、Kudu的架构 ### Kudu架构 ~~~ 与HDFS和HBase相似，Kudu使用单个的Master节点，用来管理集群的元数据， ~~~ 并且使用任意数量的Tablet Server节点用来存储实际数据。可以部署多个Master节点来提高容错性。二、Master：Kudu.Master架构阅读全文

posted @ 2022-04-14 14:22 yanqi_vip 阅读(46) 评论(0) 推荐(0)

|NO.Z.00003|——————————|^^ 部署 ^^|——|Hadoop&OLAP_Kudu.V03|——|kudu.v03|安装运行|ntp|

摘要：一、安装和运行 ### 安装前提和准备 ~~~ # 硬件： ~~~ 一台或者多台机器跑kudu-master。 ~~~ 建议跑一个master(无容错机制)、 ~~~ 三个master(允许一个节点运行出错)或者五个master(允许两个节点出错)。 ~~~ 一台或者多台机器跑kudu-tserve 阅读全文

posted @ 2022-04-14 14:22 yanqi_vip 阅读(35) 评论(0) 推荐(0)

|NO.Z.00001|——————————|BigDataEnd|——|Hadoop&OLAP_Kudu.V01|——|kudu.v01|概述背景|数据模型|

摘要：一、概述：背景 ### 背景 ~~~ Apache Kudu是由Cloudera开源的存储引擎， ~~~ 可以同时提供低延迟的随机读写和高效的数据分析能力。 ~~~ Kudu支持水平扩展，使用Raft协议进行一致性保证， ~~~ 并且与Cloudera Impala和Apache Spark等当前流阅读全文

posted @ 2022-04-14 14:21 yanqi_vip 阅读(18) 评论(0) 推荐(0)

|NO.Z.00047|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-14 14:20 yanqi_vip 阅读(7) 评论(0) 推荐(0)

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-14 14:20 yanqi_vip 阅读(8) 评论(0) 推荐(0)

|NO.Z.00000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-14 14:20 yanqi_vip 阅读(6) 评论(0) 推荐(0)

|NO.Z.00045|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V17|——|ClickHouse.v17|ClickHouse语法|UnionALL子句|

摘要：一、UNION ALL子句 ### 你可以使用 UNION ALL 结合任意数量的 SELECT 来扩展其结果。示例: ~~~ 结果列通过它们的索引进行匹配（在内部的顺序 SELECT). 如果列名称不匹配， ~~~ 则从第一个查询中获取最终结果的名称。 ~~~ 对联合执行类型转换。 ~~~ 例如阅读全文

posted @ 2022-04-14 14:19 yanqi_vip 阅读(38) 评论(0) 推荐(0)

|NO.Z.00046|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V18|——|ClickHouse.v18|ClickHouse语法|Into Outfile|Format子句|

摘要：一、INTO OUTFILE 子句 ### Into Outfile子句 ~~~ 添加 INTO OUTFILE filename 子句（其中filename是字符串） ~~~ SELECT query 将其输出重定向到客户端上的指定文件。 ~~~ # 实现细节 ~~~ 此功能是在可用命令行客户端阅读全文

posted @ 2022-04-14 14:19 yanqi_vip 阅读(65) 评论(0) 推荐(0)

|NO.Z.00044|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V16|——|ClickHouse.v16|ClickHouse语法|Distingct|Limit子句|

摘要：一、DISTINCT子句 ### Distingt子句 ~~~ 如果 SELECT DISTINCT 被声明，则查询结果中只保留唯一行。 ~~~ 因此，在结果中所有完全匹配的行集合中，只有一行被保留。 ~~~ # 空处理 ~~~ DISTINCT 适用于 NULL 就好像 NULL 是一个特定的值，阅读全文

posted @ 2022-04-14 14:18 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00043|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V15|——|ClickHouse.v15|ClickHouse语法|Select子句|

摘要：一、SELECT 子句 ### Select子句 ~~~ 表达式指定 SELECT 子句是在上述子句中的所有操作完成后计算的。 ~~~ 这些表达式的工作方式就好像它们应用于结果中的单独行一样。 ~~~ 如果表达式 SELECT 子句包含聚合函数， ~~~ 然后ClickHouse将使用 GROUP 阅读全文

posted @ 2022-04-14 14:18 yanqi_vip 阅读(48) 评论(0) 推荐(0)

|NO.Z.00042|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V14|——|ClickHouse.v14|ClickHouse语法|LimitBy|Having子句|

摘要：一、LIMIT BY子句 ### LimitBy ~~~ 与查询 LIMIT n BY expressions 子句选择第一个 n 每个不同值的行 expressions. ~~~ LIMIT BY 可以包含任意数量的表达式. ~~~ ClickHouse支持以下语法变体: ~~~ LIMIT [ 阅读全文

posted @ 2022-04-14 14:17 yanqi_vip 阅读(84) 评论(0) 推荐(0)

|NO.Z.00041|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V13|——|ClickHouse.v13|ClickHouse语法|Where|GroupBy子句|

摘要：一、WHERE ### where ~~~ WHERE 子句允许过滤从 FROM 子句 SELECT. ~~~ 如果有一个 WHERE 子句，它必须包含一个表达式与 UInt8 类型。 ~~~ 这通常是一个带有比较和逻辑运算符的表达式。 ~~~ 此表达式计算结果为0的行将从进一步的转换或结果中解释出阅读全文

posted @ 2022-04-14 14:17 yanqi_vip 阅读(50) 评论(0) 推荐(0)

|NO.Z.00040|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V12|——|ClickHouse.v12|ClickHouse语法|Prewhere子句|

摘要：一、PREWHERE 子句 ### PREWHERE子句 ~~~ Prewhere是更有效地进行过滤的优化。 ~~~ 默认情况下，即使在 PREWHERE 子句未显式指定。 ~~~ 它也会自动移动WHERE 条件到prewhere阶段。 ~~~ PREWHERE 子句只是控制这个优化，如果你认为你知阅读全文

posted @ 2022-04-14 14:16 yanqi_vip 阅读(68) 评论(0) 推荐(0)

|NO.Z.00039|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V11|——|ClickHouse.v11|ClickHouse语法|Join子句|

摘要：一、JOIN子句 ### array join ~~~ # 创建数据表 hadoop01 :) use default; hadoop01 :) create table query_v1 (title String, value Array(UInt8))engine=Log; hadoop01 阅读全文

posted @ 2022-04-14 14:15 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00038|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V10|——|ClickHouse.v10|ClickHouse语法|Sample子句|

摘要：一、SAMPLE 子句 ### SAMPLE子句 ~~~ 该 SAMPLE 子句允许近似于 SELECT 查询处理。 ~~~ 启用数据采样时，不会对所有数据执行查询，而只对特定部分数据（样本）执行查询。 ~~~ 例如，如果您需要计算所有访问的统计信息，只需对所有访问的1/10分数执行查询， ~~~ 阅读全文

posted @ 2022-04-14 14:15 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.Z.00037|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V09|——|ClickHouse.v09|ClickHouse语法|From子句|

摘要：一、FROM子句 ### FROM 子句指定从以下数据源中读取数据: ~~~ 表 ~~~ 子查询 ~~~ 表函数 ~~~ JOIN 和 ARRAY JOIN 子句也可以用来扩展 FROM 的功能 ~~~ 子查询是另一个 SELECT 可以指定在 FROM 后的括号内的查询。 ~~~ FROM 子句可阅读全文

posted @ 2022-04-14 14:14 yanqi_vip 阅读(41) 评论(0) 推荐(0)

|NO.Z.00035|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V07|——|ClickHouse.v07|ClickHouse语法|CreateInsertAlter|DescribeCheck|

摘要：一、CREATE DATABASE ### CREATE DATABASE创建数据库 ~~~ 用于创建指定名称的数据库，语法如下： ~~~ CREATE DATABASE [IF NOT EXISTS] db_name ### 如果查询中存在IF NOT EXISTS，则当数据库已经存在时，该查询不阅读全文

posted @ 2022-04-14 14:13 yanqi_vip 阅读(45) 评论(0) 推荐(0)

|NO.Z.00036|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V08|——|ClickHouse.v08|ClickHouse语法|with子句|

摘要：一、with子句 ### with子句 ~~~ 本节提供对公共表表达式的支持 (CTE）， ~~~ 所以结果 WITH 子句可以在其余部分中使用 SELECT 查询。 ~~~ # 限制 ~~~ 不支持递归查询。 ~~~ 当在section中使用子查询时，它的结果应该是只有一行的标量。 ~~~ Exp 阅读全文

posted @ 2022-04-14 14:13 yanqi_vip 阅读(149) 评论(0) 推荐(0)

|NO.Z.00034|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V06|——|ClickHouse.v06|ClickHouse语法|分布式DDL执行|

摘要：一、分布式DDL执行 ### 分布式DDL执行 ~~~ 在集群上的任意一个节点上执行DDL语句， ~~~ 那么集群上的任意一个节点都会以相同的顺序执行相同的语义。 ### 数据写入： ~~~ # 方式一： hadoop01 :) insert into partition_v1 values (.. 阅读全文

posted @ 2022-04-14 14:12 yanqi_vip 阅读(31) 评论(0) 推荐(0)

|NO.Z.00033|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V05|——|ClickHouse.v05|ClickHouse语法|数据分区|基本操作|

摘要：一、数据分区的基本操作： ### 查询分区信息： ~~~ ClickHouse内置了很多system系统表，用于查询自身状态信息。 ### 查询分区表信息 ~~~ # 查看分区表信息 hadoop01 :) use system; hadoop01 :) show tables; ┌─name─── 阅读全文

posted @ 2022-04-14 14:12 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00032|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V04|——|ClickHouse.v04|ClickHouse语法|视图|移动数据表|

摘要：一、视图： ### 普通视图和物化视图 ~~~ 普通视图：不保存数据，只是一层单纯的select查询映射，起着简化查询、明晰语义的作用。 ~~~ 物化视图：保存数据，如果源表被写入新数据，物化视图也会同步更新。 ~~~ POPULATE修饰符：决定在创建物化视图的过程中是否将源表的数据同步到物化视图阅读全文

posted @ 2022-04-14 14:11 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.Z.00030|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V02|——|ClickHouse.v02|ClickHouse语法|默认值表达式|临时表|

摘要：一、默认值表达式： ### 默认值表达式：创建表 ~~~ # 创建表 hadoop01 :) create table dfv_v1 ( id String, c1 DEFAULT 1000, c2 String DEFAULT c1 ) engine = TinyLog; ~~~输出参数 CREA 阅读全文

posted @ 2022-04-14 14:10 yanqi_vip 阅读(221) 评论(0) 推荐(0)

|NO.Z.00031|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V03|——|ClickHouse.v03|ClickHouse语法|分区表|

摘要：一、分区表： ### 分区表 ~~~ 只有合并数（MergeTree）家族的表引擎支持分区表 ~~~ 可以利用分区表，做定位查询，缩小查询范围。 ~~~ 分区字段不易设的太小 ### 分区表案例： ~~~ # 创建分区表 hadoop01 :) CREATE TABLE partition_v1 ( 阅读全文

posted @ 2022-04-14 14:10 yanqi_vip 阅读(41) 评论(0) 推荐(0)

|NO.Z.00027|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V08|——|ClickHouse.v08|ClickHouse：ClickHouse副本分片|Distributed用法|

摘要：一、Distributed用法 ### Distributed表引擎 ~~~ Distributed表引擎： ~~~ all ：全局查询的 ~~~ local：真正的保存数据的表 ### Distributed ~~~ 分布式引擎，本身不存储数据, 但可以在多个服务器上进行分布式查询。 ~~~ 读阅读全文

posted @ 2022-04-14 14:09 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00029|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V01|——|ClickHouse.v01|ClickHouse语法|表增删改查|

摘要：一、DDL ### 创建库： ~~~ # 创建数据库 hadoop01 :) create database mydatabase; ### 执行完成以后，会在clickhouse的安装路径后生成mydatabase的文件目录： ~~~ # 查看库表本地存储地址 [root@hadoop01 ~]# 阅读全文

posted @ 2022-04-14 14:09 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00028|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-14 14:09 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00025|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V06|——|ClickHouse.v06|ClickHouse：ClickHouse副本分片|ReplicatedMergeTree原理|

摘要：一、ReplicatedMergeTree原理 ### 数据结构 [zk: localhost:2181(CONNECTED) 8] ls /clickhouse/tables/01/replicated_sales_5 [metadata, temp, mutations, log, leader 阅读全文

posted @ 2022-04-14 14:08 yanqi_vip 阅读(66) 评论(0) 推荐(0)

导航

公告