2022年4月14日

|NO.Z.00012|——————————|^^ 部署 ^^|——|Hadoop&ElasticSearch.V12|——|ELK.v12|集群|索引管理|IK分词器部署.V1|

摘要: 一、安装IK分词器 ### 安装IK分词器 ~~~ # hadoop01~03:使用root用户部署IK分词器,然后重启ES服务 ~~~ # 在elasticsearch安装目录的plugins目录下新建 analysis-ik 目录 [root@hadoop02 ~]# mkdir /opt/ya 阅读全文

posted @ 2022-04-14 15:33 yanqi_vip 阅读(31) 评论(0) 推荐(0)

|NO.Z.00010|——————————|^^ 部署 ^^|——|Hadoop&ElasticSearch.V10|——|ELK.v10|集群|Kibana服务部署.V2|

摘要: 一、部署kibana服务 ### 下载kibana版本包 ~~~ # 下载kibana服务版本包:使用root用户部署 [root@hadoop02 software]# wget -c https://artifacts.elastic.co/downloads/kibana/kibana-7.3 阅读全文

posted @ 2022-04-14 15:32 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00011|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V11|——|ELK.v11|集群|索引管理|索引操作|

摘要: 一、索引操作(创建、查看、删除) ### 创建索引库语法 ~~~ Elasticsearch采用Rest风格API,因此其API就是一次http请求, ~~~ 你可以用任何工具发起http请求 ~~~ # 语法 PUT / 索引名称 { "settings": { "属性名": "属性值" } } 阅读全文

posted @ 2022-04-14 15:32 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00009|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V09|——|ELK.v09|集群|Kibana服务部署.V1|

摘要: 一、Kibana概述 ### 什么是Kibana ~~~ Kibana是一个基于Node.js的Elasticsearch索引库数据统计工具, ~~~ 可以利用Elasticsearch的聚合功能,生成各种图表,如柱形图,线状图,饼图等。 ~~~ 而且还提供了操作Elasticsearch索引数据的 阅读全文

posted @ 2022-04-14 15:31 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00008|——————————|^^ 部署 ^^|——|Hadoop&ElasticSearch.V08|——|ELK.v08|集群|ElasticSearch-head插件部署.V2|

摘要: 一、ElasticSearch-head:谷歌浏览其插件方式安装:# 测试环境推荐使用 ### ElasticSearch-head:谷歌浏览其插件方式安装:# 测试环境推荐使用 ~~~ Elasticsearch 5之后则需要将elasticsearch-head服务单独运行, ~~~ 并且支持C 阅读全文

posted @ 2022-04-14 15:30 yanqi_vip 阅读(76) 评论(0) 推荐(0)

|NO.Z.00006|——————————|^^ 部署 ^^|——|Hadoop&ElasticSearch.V06|——|ELK.v06|集群|ElasticSearch集群部署.V1|

摘要: 一、Elasticsearch 集群环境准备 ### hadoop01~03修改系统配置:修改/etc/sysctl.conf ~~~ # 修改/etc/sysctl.conf [root@hadoop01 ~]# vim /etc/sysctl.conf ~~~在文件末尾添加如下参数 vm.max 阅读全文

posted @ 2022-04-14 15:29 yanqi_vip 阅读(61) 评论(0) 推荐(0)

|NO.Z.00007|——————————|^^ 部署 ^^|——|Hadoop&ElasticSearch.V07|——|ELK.v07|集群|ElasticSearch-head插件部署.V1|

摘要: 一、安装elasticsearch-head插件 ### Elasticsearch Head插件介绍及安装和验证主从环境 ~~~ Elasticsearch Head插件介绍及安装 ### elasticsearch-head 简介 ~~~ elasticsearch-head是一个界面化的集群操 阅读全文

posted @ 2022-04-14 15:29 yanqi_vip 阅读(25) 评论(0) 推荐(0)

|NO.Z.00003|——————————|^^ 部署 ^^|——|Hadoop&ElasticSearch.V03|——|ELK.v03|部署|Elasticsearch Single-Node Mode部署|

摘要: 一、Elasticsearch Single-Node Mode部署 ### Elasticsearch Single-Node Mode部署 ~~~ Elasticsearch是一个分布式全文搜索引擎, ~~~ 支持单节点模式(Single-Node Mode)和集群模式(Cluster Mode 阅读全文

posted @ 2022-04-14 15:28 yanqi_vip 阅读(39) 评论(0) 推荐(0)

|NO.Z.00004|——————————|^^ 部署 ^^|——|Hadoop&ElasticSearch.V04|——|ELK.v04|部署|Elasticsearch Single-Node Mode使用|

摘要: 一、简单使用es ### 创建blog01索引 ~~~ # 创建blog01索引:若是返回是true,说明创建索引是成功的 [root@hadoop01 ~]# curl -XPUT http://hadoop01:9200/blog01/?pretty ~~~输出参数 { "acknowledge 阅读全文

posted @ 2022-04-14 15:28 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00005|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V05|——|ELK.v05|架构|ElasticSearch架构图及基本概念|

摘要: 一、ElasticSearch架构图以及基本概念(术语) ### 概述 ~~~ Elasticsearch是面向文档(document oriented)的, ~~~ 这意味着它可以存储整个对象或文档(document)。 ~~~ 然而它不仅仅是存储,还会索引(index)每个文档的内容使之可以被搜 阅读全文

posted @ 2022-04-14 15:28 yanqi_vip 阅读(80) 评论(0) 推荐(0)

|NO.Z.00001|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V01|——|ELK.v01|概述|集中式日志分析系统|

摘要: 一、ElasticSearch ### ELK:集中式日志系统 ~~~ 日志,对于任何系统来说都是及其重要的组成部分。 ~~~ 在计算机系统里面,更是如此。 ~~~ 但是由于现在的计算机系统大多比较复杂,很多系统都不是在一个地方,甚至都是跨国界的; ~~~ 即使是在一个地方的系统,也有不同的来源,比 阅读全文

posted @ 2022-04-14 15:27 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00002|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V02|——|ELK.v02|系统介绍|

摘要: 一、Elasticsearch ### 什么是ElasticSearch ~~~ Elasticsearch,简称为es, es是一个开源的高扩展的分布式全文检索引擎, ~~~ 它可以近乎实时的存储、检索数据; ~~~ 本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。 ~~~ es也使用 阅读全文

posted @ 2022-04-14 15:27 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00000|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-14 15:26 yanqi_vip 阅读(8) 评论(0) 推荐(0)

|NO.Z.00016|——————————|BigDataEnd|——|Hadoop&OLAP_Druid.V16|——|Druid.v16|实战|Druid实战案例.V5|

摘要: 一、Druid案例小结 ### Druid案例总结 ~~~ 在配置摄入源时要设置为True从流的开始进行消费数据,否则在数据源中可能查不到数据 ~~~ Druid的join能力非常有限,分组或者聚合多的场景推荐使用 ~~~ sql支持能力也非常受限 ~~~ 数据的分区组织只有时间序列一种方式 Wal 阅读全文

posted @ 2022-04-14 15:25 yanqi_vip 阅读(19) 评论(0) 推荐(0)

|NO.Z.00017|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-14 15:25 yanqi_vip 阅读(9) 评论(0) 推荐(0)

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-14 15:25 yanqi_vip 阅读(11) 评论(0) 推荐(0)

|NO.Z.00014|——————————|BigDataEnd|——|Hadoop&OLAP_Druid.V14|——|Druid.v14|实战|Druid实战案例.V3|

摘要: 一、摄取kafka数据 ### 摄取kafka数据 ~~~ 摄取kafka数据:定义数据摄取规范,json数据要拉平,不用定义Rollup 二、启动数据源 ### 启动数据源 ~~~ 启动数据源 ~~~ 数据查询 三、加载数据源json文件 { "type": "kafka", "spec": { 阅读全文

posted @ 2022-04-14 15:24 yanqi_vip 阅读(15) 评论(0) 推荐(0)

|NO.Z.00015|——————————|BigDataEnd|——|Hadoop&OLAP_Druid.V15|——|Druid.v15|实战|Druid实战案例.V4|

摘要: 一、启动kafka生产者加载数据流 ### 查询数据流记录总数 ~~~ # 查记录总数 select count(*) as recordcount from yanqidruid2 ### 查订单总数 ~~~ # 查订单总数 select count(distinct orderId) as or 阅读全文

posted @ 2022-04-14 15:24 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.00013|——————————|BigDataEnd|——|Hadoop&OLAP_Druid.V13|——|Druid.v13|实战|Druid实战案例.V2|

摘要: 一、编程实现kafka生产者 ### 编程实现kafka生产者:在SparkBigData工程下创建scala程序:KafkaProducerForDruid package cn.yanqi.druid import java.util.Properties import org.apache.k 阅读全文

posted @ 2022-04-14 15:23 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00011|——————————|BigDataEnd|——|Hadoop&OLAP_Druid.V11|——|Druid.v11|架构|索引压缩机制|

摘要: 一、索引及压缩机制 ### Druid的查询时延低性能好的主要是因为采用了五个技术点: ~~~ 数据预聚合 ~~~ 列式存储、数据压缩 ~~~ Bitmap 索引 ~~~ mmap(内存文件映射方式) ~~~ 查询结果的中间缓存 二、数据聚合 ### 数据预聚合 ~~~ Druid通过一个roll- 阅读全文

posted @ 2022-04-14 15:22 yanqi_vip 阅读(35) 评论(0) 推荐(0)

导航