上一页 1 ··· 6 7 8 9 10 11 12 13 14 ··· 69 下一页

2022年4月15日

|NO.Z.00034|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V34|——|ELK.v34|集群|Java API操作ES.V2|

摘要: 一、Java API操作ES:创建client ### 创建Client package com.yanqi.es; import org.apache.http.HttpHost; import org.elasticsearch.client.RestClient; import org.ela 阅读全文

posted @ 2022-04-15 14:21 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00032|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V32|——|ELK.v32|集群|QueryDSL|聚合分析.V3|

摘要: 一、桶聚合 ### Bucket Aggregations,桶聚合。 ~~~ 它执行的是对文档分组的操作(与sql中的group by类似), ~~~ 把满足相关特性的文档分到一个桶里,即桶分, ~~~ 输出结果往往是一个个包含多个文档的桶(一个桶就是一个group) ~~~ bucket:一个数据 阅读全文

posted @ 2022-04-15 14:20 yanqi_vip 阅读(14) 评论(0) 推荐(0)

|NO.Z.00029|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V29|——|ELK.v29|集群|QueryDSL|文档批量操作.V1|

摘要: 一、bulk 批量增删改 ### Bulk 操作解释将文档的增删改查一些列操作,通过一次请求全都做完。减少网络传输次数。 ~~~ # 语法: POST /_bulk {"action": {"metadata"}} {"data"} ### 操作示例 ~~~ # 如下操作,删除1,新增5,修改2。 阅读全文

posted @ 2022-04-15 14:19 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.Z.00030|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V30|——|ELK.v30|集群|QueryDSL|聚合分析.V1|

摘要: 一、聚合分析 ### 聚合介绍 ~~~ 聚合分析是数据库中重要的功能特性,完成对一个查询的数据集中数据的聚合计算, ~~~ 如:找出某字段(或计算表达式的结果)的最大值、最小值,计算和、平均值等。 ~~~ Elasticsearch作为搜索引擎兼数据库,同样提供了强大的聚合分析能力。 ~~~ 对一个 阅读全文

posted @ 2022-04-15 14:19 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00031|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V31|——|ELK.v31|集群|QueryDSL|聚合分析.V2|

摘要: 一、指标聚合:max min sum avg ### 示例一:查询所有书中最贵的 POST /book/_search { "size": 0, "aggs": { "max_price": { "max": { "field": "price" } } } } 二、文档计数count ### 示例 阅读全文

posted @ 2022-04-15 14:19 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00028|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V28|——|ELK.v28|集群|QueryDSL|文档批量操作.V1|

摘要: 一、文档批量操作(bulk 和 mget) ### mget 批量查询 ~~~ 单条查询 GET /test_index/_doc/1,如果查询多个id的文档一条一条查询,网络开销太大。 GET /_mget { "docs" : [ { "_index" : "book", "_id" : 1 } 阅读全文

posted @ 2022-04-15 14:18 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00027|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V27|——|ELK.v27|集群|QueryDSL|高亮|

摘要: 一、高亮 ### Elasticsearch中实现高亮的语法比较简单: ~~~ # 在使用match查询的同时,加上一个highlight属性: ~~~ pre_tags:前置标签 ~~~ post_tags:后置标签 ~~~ fields:需要高亮的字段 ~~~ name:这里声明title字段需 阅读全文

posted @ 2022-04-15 14:18 yanqi_vip 阅读(45) 评论(0) 推荐(0)

|NO.Z.00025|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V25|——|ELK.v25|集群|QueryDSL|排序|

摘要: 一、排序 ### 相关性评分排序 ~~~ 默认情况下,返回的结果是按照 相关性 进行排序的——最相关的文档排在最前。 ~~~ 首先看看 sort 参数以及如何使用它。 ~~~ 为了按照相关性来排序,需要将相关性表示为一个数值。 ~~~ 在 Elasticsearch 中, 相关性得分 由一个浮点数进 阅读全文

posted @ 2022-04-15 14:17 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00026|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V26|——|ELK.v26|集群|QueryDSL|分页|

摘要: 一、分页 ### Elasticsearch中实现分页的语法非常简单: POST /book/_search { "query": { "match_all": {} }, "sort": [ {"price": {"order": "desc"}} ], "size": 2, "from": 0 阅读全文

posted @ 2022-04-15 14:17 yanqi_vip 阅读(37) 评论(0) 推荐(0)

|NO.Z.00024|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V24|——|ELK.v24|集群|QueryDSL|Filter DSL|

摘要: 一、Filter DSL ### Filter DSL ~~~ Elasticsearch中的所有的查询都会触发相关度得分的计算。 ~~~ 对于那些不需要相关度得分的场景下,Elasticsearch以过滤器的形式提供了另一种查询功能, ~~~ 过滤器在概念上类似于查询,但是它们有非常快的执行速度, 阅读全文

posted @ 2022-04-15 14:16 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00022|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V22|——|ELK.v22|集群|QueryDSL|词条级搜索.V2|

摘要: 一、词条搜索(term query) ### term 查询用于查询指定字段包含某个词项的文档 POST /book/_search { "query": { "term" : { "name" : "solr" } } } 二、词条集合搜索(terms query) ### terms 查询用于查 阅读全文

posted @ 2022-04-15 14:15 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00023|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V23|——|ELK.v23|集群|QueryDSL|复合搜索|

摘要: 一、复合搜索(compound query) ### 布尔搜索(bool query) ~~~ # bool 查询用bool操作来组合多个查询子句为一个查询。 可用的关键字: ~~~ must:必须满足 ~~~ filter:必须满足,对集合包含/排除的简单检查,计算速度非常快,不参与、不影响评分 阅读全文

posted @ 2022-04-15 14:15 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.00021|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V21|——|ELK.v21|集群|QueryDSL|词条级搜索.V1|

摘要: 一、词条级搜索(term-level queries) ### 词条级搜索 ~~~ 可以使用term-level queries根据结构化数据中的精确值查找文档。 ~~~ 结构化数据的值包括日期范围、IP地址、价格或产品ID。 ~~~ 与全文查询不同,term-level queries不分析搜索词 阅读全文

posted @ 2022-04-15 14:14 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00019|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V19|——|ELK.v19|集群|QueryDSL|全文搜索.V2|

摘要: 一、短语搜索(match phrase query) ### 短语搜索 ~~~ match_phrase是分词的,text也是分词的。 ~~~ match_phrase的分词结果必须在text字段分词中都包含,而且顺序必须相同,而且必须都是连续的 ### 搜索示例 GET /yanqi-proper 阅读全文

posted @ 2022-04-15 14:13 yanqi_vip 阅读(18) 评论(0) 推荐(0)

|NO.Z.00020|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V20|——|ELK.v20|集群|QueryDSL|全文搜索.V3|

摘要: 一、query_string 查询 ### query_string查询 ~~~ 该查询与match类似,但是match需要指定字段名, ~~~ query_string是在所有字段中搜索,范围更广泛。 ~~~ Query String Query提供了无需指定某字段而对文档全文进行匹配查询的 ~~ 阅读全文

posted @ 2022-04-15 14:13 yanqi_vip 阅读(16) 评论(0) 推荐(0)

|NO.Z.00018|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V18|——|ELK.v18|集群|QueryDSL|全文搜索.V1|

摘要: 一、全文搜索(full-text query) ### 全文搜索(full-text query) ~~~ 全文搜索能够搜索已分析的文本字段,如电子邮件正文,商品描述等。 ~~~ 使用索引期间应用于字段的同一分词器处理查询字符串。全文搜索的分类很多 几个典型的如下: 二、匹配搜索 ### 匹配搜索( 阅读全文

posted @ 2022-04-15 14:12 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00017|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V17|——|ELK.v17|集群|QueryDSL|查询所有|

摘要: 一、Query DSL ### QueryDSL ~~~ https://www.elastic.co/guide/en/elasticsearch/reference/7.3/query-dsl.html ~~~ Elasticsearch提供了基于JSON的完整查询DSL(Domain Spec 阅读全文

posted @ 2022-04-15 14:12 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00015|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V15|——|ELK.v15|集群|索引管理|文档增删改查及局部更新.V1|

摘要: 一、文档增删改查及局部更新 ### 文档增删改查及局部更新 ~~~ 文档,即索引库中的数据,会根据规则创建索引,将来用于搜索。 ~~~ 可以类比做数据库中的一行数据。 ### 新增文档 ~~~ 新增文档时,涉及到id的创建方式,手动指定或者自动生成。 ~~~ 新增文档(手动指定id) 二、创建文档: 阅读全文

posted @ 2022-04-15 14:11 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00016|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V16|——|ELK.v16|集群|索引管理|文档增删改查及局部更新.V2|

摘要: 一、更新文档(全部更新) ### 把刚才新增的请求方式改为PUT,就是修改了,不过修改必须指定id ~~~ id对应文档存在,则修改 ~~~ id对应文档不存在,则新增 ~~~ 比如,我们把使用id为4,不存在,则应该是新增 ### 更新示例 ### 再次执行刚才的请求,不过把数据改一下:可以看到结 阅读全文

posted @ 2022-04-15 14:11 yanqi_vip 阅读(23) 评论(0) 推荐(0)

|NO.Z.00014|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V14|——|ELK.v14|集群|索引管理|映射操作|

摘要: 一、映射操作 ### 映射操作 ~~~ 索引创建之后,等于有了关系型数据库中的database。 ~~~ Elasticsearch7.x取消了索引type类型的设置,不允许指定类型,默认为_doc,但字段仍然是有的, ~~~ 我们需要设置字段的约束信息,叫做字段映射(mapping)字段的约束包括 阅读全文

posted @ 2022-04-15 14:10 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00013|——————————|^^ 部署 ^^|——|Hadoop&ElasticSearch.V13|——|ELK.v13|集群|索引管理|IK分词器部署.V2|

摘要: 一、词典使用 ### 词典使用 ~~~ # 扩展词: ~~~ 就是不想让哪些词被分开,让他们分成一个词。比如上面的江大桥 ~~~ # 停用词: ~~~ 有些词在文本中出现的频率非常高。但对本文的语义产生不了多大的影响。 ~~~ 例如英文的a、an、the、of等。或中文的”的、了、呢等”。这样的词称 阅读全文

posted @ 2022-04-15 14:09 yanqi_vip 阅读(27) 评论(0) 推荐(0)

2022年4月14日

|NO.Z.00012|——————————|^^ 部署 ^^|——|Hadoop&ElasticSearch.V12|——|ELK.v12|集群|索引管理|IK分词器部署.V1|

摘要: 一、安装IK分词器 ### 安装IK分词器 ~~~ # hadoop01~03:使用root用户部署IK分词器,然后重启ES服务 ~~~ # 在elasticsearch安装目录的plugins目录下新建 analysis-ik 目录 [root@hadoop02 ~]# mkdir /opt/ya 阅读全文

posted @ 2022-04-14 15:33 yanqi_vip 阅读(31) 评论(0) 推荐(0)

|NO.Z.00010|——————————|^^ 部署 ^^|——|Hadoop&ElasticSearch.V10|——|ELK.v10|集群|Kibana服务部署.V2|

摘要: 一、部署kibana服务 ### 下载kibana版本包 ~~~ # 下载kibana服务版本包:使用root用户部署 [root@hadoop02 software]# wget -c https://artifacts.elastic.co/downloads/kibana/kibana-7.3 阅读全文

posted @ 2022-04-14 15:32 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00011|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V11|——|ELK.v11|集群|索引管理|索引操作|

摘要: 一、索引操作(创建、查看、删除) ### 创建索引库语法 ~~~ Elasticsearch采用Rest风格API,因此其API就是一次http请求, ~~~ 你可以用任何工具发起http请求 ~~~ # 语法 PUT / 索引名称 { "settings": { "属性名": "属性值" } } 阅读全文

posted @ 2022-04-14 15:32 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00009|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V09|——|ELK.v09|集群|Kibana服务部署.V1|

摘要: 一、Kibana概述 ### 什么是Kibana ~~~ Kibana是一个基于Node.js的Elasticsearch索引库数据统计工具, ~~~ 可以利用Elasticsearch的聚合功能,生成各种图表,如柱形图,线状图,饼图等。 ~~~ 而且还提供了操作Elasticsearch索引数据的 阅读全文

posted @ 2022-04-14 15:31 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00008|——————————|^^ 部署 ^^|——|Hadoop&ElasticSearch.V08|——|ELK.v08|集群|ElasticSearch-head插件部署.V2|

摘要: 一、ElasticSearch-head:谷歌浏览其插件方式安装:# 测试环境推荐使用 ### ElasticSearch-head:谷歌浏览其插件方式安装:# 测试环境推荐使用 ~~~ Elasticsearch 5之后则需要将elasticsearch-head服务单独运行, ~~~ 并且支持C 阅读全文

posted @ 2022-04-14 15:30 yanqi_vip 阅读(76) 评论(0) 推荐(0)

|NO.Z.00006|——————————|^^ 部署 ^^|——|Hadoop&ElasticSearch.V06|——|ELK.v06|集群|ElasticSearch集群部署.V1|

摘要: 一、Elasticsearch 集群环境准备 ### hadoop01~03修改系统配置:修改/etc/sysctl.conf ~~~ # 修改/etc/sysctl.conf [root@hadoop01 ~]# vim /etc/sysctl.conf ~~~在文件末尾添加如下参数 vm.max 阅读全文

posted @ 2022-04-14 15:29 yanqi_vip 阅读(61) 评论(0) 推荐(0)

|NO.Z.00007|——————————|^^ 部署 ^^|——|Hadoop&ElasticSearch.V07|——|ELK.v07|集群|ElasticSearch-head插件部署.V1|

摘要: 一、安装elasticsearch-head插件 ### Elasticsearch Head插件介绍及安装和验证主从环境 ~~~ Elasticsearch Head插件介绍及安装 ### elasticsearch-head 简介 ~~~ elasticsearch-head是一个界面化的集群操 阅读全文

posted @ 2022-04-14 15:29 yanqi_vip 阅读(25) 评论(0) 推荐(0)

|NO.Z.00003|——————————|^^ 部署 ^^|——|Hadoop&ElasticSearch.V03|——|ELK.v03|部署|Elasticsearch Single-Node Mode部署|

摘要: 一、Elasticsearch Single-Node Mode部署 ### Elasticsearch Single-Node Mode部署 ~~~ Elasticsearch是一个分布式全文搜索引擎, ~~~ 支持单节点模式(Single-Node Mode)和集群模式(Cluster Mode 阅读全文

posted @ 2022-04-14 15:28 yanqi_vip 阅读(39) 评论(0) 推荐(0)

|NO.Z.00004|——————————|^^ 部署 ^^|——|Hadoop&ElasticSearch.V04|——|ELK.v04|部署|Elasticsearch Single-Node Mode使用|

摘要: 一、简单使用es ### 创建blog01索引 ~~~ # 创建blog01索引:若是返回是true,说明创建索引是成功的 [root@hadoop01 ~]# curl -XPUT http://hadoop01:9200/blog01/?pretty ~~~输出参数 { "acknowledge 阅读全文

posted @ 2022-04-14 15:28 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00005|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V05|——|ELK.v05|架构|ElasticSearch架构图及基本概念|

摘要: 一、ElasticSearch架构图以及基本概念(术语) ### 概述 ~~~ Elasticsearch是面向文档(document oriented)的, ~~~ 这意味着它可以存储整个对象或文档(document)。 ~~~ 然而它不仅仅是存储,还会索引(index)每个文档的内容使之可以被搜 阅读全文

posted @ 2022-04-14 15:28 yanqi_vip 阅读(80) 评论(0) 推荐(0)

|NO.Z.00001|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V01|——|ELK.v01|概述|集中式日志分析系统|

摘要: 一、ElasticSearch ### ELK:集中式日志系统 ~~~ 日志,对于任何系统来说都是及其重要的组成部分。 ~~~ 在计算机系统里面,更是如此。 ~~~ 但是由于现在的计算机系统大多比较复杂,很多系统都不是在一个地方,甚至都是跨国界的; ~~~ 即使是在一个地方的系统,也有不同的来源,比 阅读全文

posted @ 2022-04-14 15:27 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00002|——————————|BigDataEnd|——|Hadoop&ElasticSearch.V02|——|ELK.v02|系统介绍|

摘要: 一、Elasticsearch ### 什么是ElasticSearch ~~~ Elasticsearch,简称为es, es是一个开源的高扩展的分布式全文检索引擎, ~~~ 它可以近乎实时的存储、检索数据; ~~~ 本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。 ~~~ es也使用 阅读全文

posted @ 2022-04-14 15:27 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00000|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-14 15:26 yanqi_vip 阅读(8) 评论(0) 推荐(0)

|NO.Z.00016|——————————|BigDataEnd|——|Hadoop&OLAP_Druid.V16|——|Druid.v16|实战|Druid实战案例.V5|

摘要: 一、Druid案例小结 ### Druid案例总结 ~~~ 在配置摄入源时要设置为True从流的开始进行消费数据,否则在数据源中可能查不到数据 ~~~ Druid的join能力非常有限,分组或者聚合多的场景推荐使用 ~~~ sql支持能力也非常受限 ~~~ 数据的分区组织只有时间序列一种方式 Wal 阅读全文

posted @ 2022-04-14 15:25 yanqi_vip 阅读(19) 评论(0) 推荐(0)

|NO.Z.00017|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-14 15:25 yanqi_vip 阅读(9) 评论(0) 推荐(0)

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-14 15:25 yanqi_vip 阅读(11) 评论(0) 推荐(0)

|NO.Z.00014|——————————|BigDataEnd|——|Hadoop&OLAP_Druid.V14|——|Druid.v14|实战|Druid实战案例.V3|

摘要: 一、摄取kafka数据 ### 摄取kafka数据 ~~~ 摄取kafka数据:定义数据摄取规范,json数据要拉平,不用定义Rollup 二、启动数据源 ### 启动数据源 ~~~ 启动数据源 ~~~ 数据查询 三、加载数据源json文件 { "type": "kafka", "spec": { 阅读全文

posted @ 2022-04-14 15:24 yanqi_vip 阅读(15) 评论(0) 推荐(0)

|NO.Z.00015|——————————|BigDataEnd|——|Hadoop&OLAP_Druid.V15|——|Druid.v15|实战|Druid实战案例.V4|

摘要: 一、启动kafka生产者加载数据流 ### 查询数据流记录总数 ~~~ # 查记录总数 select count(*) as recordcount from yanqidruid2 ### 查订单总数 ~~~ # 查订单总数 select count(distinct orderId) as or 阅读全文

posted @ 2022-04-14 15:24 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.00013|——————————|BigDataEnd|——|Hadoop&OLAP_Druid.V13|——|Druid.v13|实战|Druid实战案例.V2|

摘要: 一、编程实现kafka生产者 ### 编程实现kafka生产者:在SparkBigData工程下创建scala程序:KafkaProducerForDruid package cn.yanqi.druid import java.util.Properties import org.apache.k 阅读全文

posted @ 2022-04-14 15:23 yanqi_vip 阅读(26) 评论(0) 推荐(0)

上一页 1 ··· 6 7 8 9 10 11 12 13 14 ··· 69 下一页

导航