摘要： 一、Java API操作ES：创建client ### 创建Client package com.yanqi.es; import org.apache.http.HttpHost; import org.elasticsearch.client.RestClient; import org.ela 阅读全文

摘要： 一、桶聚合 ### Bucket Aggregations，桶聚合。 ~~~ 它执行的是对文档分组的操作（与sql中的group by类似）， ~~~ 把满足相关特性的文档分到一个桶里，即桶分， ~~~ 输出结果往往是一个个包含多个文档的桶（一个桶就是一个group） ~~~ bucket：一个数据 阅读全文

摘要： 一、bulk 批量增删改 ### Bulk 操作解释将文档的增删改查一些列操作，通过一次请求全都做完。减少网络传输次数。 ~~~ # 语法： POST /_bulk {"action": {"metadata"}} {"data"} ### 操作示例 ~~~ # 如下操作，删除1，新增5，修改2。 阅读全文

摘要： 一、聚合分析 ### 聚合介绍 ~~~ 聚合分析是数据库中重要的功能特性，完成对一个查询的数据集中数据的聚合计算， ~~~ 如：找出某字段（或计算表达式的结果）的最大值、最小值，计算和、平均值等。 ~~~ Elasticsearch作为搜索引擎兼数据库，同样提供了强大的聚合分析能力。 ~~~ 对一个 阅读全文

摘要： 一、指标聚合：max min sum avg ### 示例一：查询所有书中最贵的 POST /book/_search { "size": 0, "aggs": { "max_price": { "max": { "field": "price" } } } } 二、文档计数count ### 示例 阅读全文

摘要： 一、文档批量操作（bulk 和 mget） ### mget 批量查询 ~~~ 单条查询 GET /test_index/_doc/1，如果查询多个id的文档一条一条查询，网络开销太大。 GET /_mget { "docs" : [ { "_index" : "book", "_id" : 1 } 阅读全文

摘要： 一、高亮 ### Elasticsearch中实现高亮的语法比较简单： ~~~ # 在使用match查询的同时，加上一个highlight属性： ~~~ pre_tags：前置标签 ~~~ post_tags：后置标签 ~~~ fields：需要高亮的字段 ~~~ name：这里声明title字段需 阅读全文

摘要： 一、排序 ### 相关性评分排序 ~~~ 默认情况下，返回的结果是按照 相关性 进行排序的——最相关的文档排在最前。 ~~~ 首先看看 sort 参数以及如何使用它。 ~~~ 为了按照相关性来排序，需要将相关性表示为一个数值。 ~~~ 在 Elasticsearch 中， 相关性得分 由一个浮点数进 阅读全文

摘要： 一、分页 ### Elasticsearch中实现分页的语法非常简单： POST /book/_search { "query": { "match_all": {} }, "sort": [ {"price": {"order": "desc"}} ], "size": 2, "from": 0 阅读全文

摘要： 一、Filter DSL ### Filter DSL ~~~ Elasticsearch中的所有的查询都会触发相关度得分的计算。 ~~~ 对于那些不需要相关度得分的场景下，Elasticsearch以过滤器的形式提供了另一种查询功能， ~~~ 过滤器在概念上类似于查询，但是它们有非常快的执行速度， 阅读全文

摘要： 一、词条搜索(term query) ### term 查询用于查询指定字段包含某个词项的文档 POST /book/_search { "query": { "term" : { "name" : "solr" } } } 二、词条集合搜索(terms query) ### terms 查询用于查 阅读全文

摘要： 一、复合搜索(compound query) ### 布尔搜索(bool query) ~~~ # bool 查询用bool操作来组合多个查询子句为一个查询。 可用的关键字： ~~~ must：必须满足 ~~~ filter：必须满足，对集合包含/排除的简单检查，计算速度非常快，不参与、不影响评分 阅读全文

摘要： 一、词条级搜索(term-level queries) ### 词条级搜索 ~~~ 可以使用term-level queries根据结构化数据中的精确值查找文档。 ~~~ 结构化数据的值包括日期范围、IP地址、价格或产品ID。 ~~~ 与全文查询不同，term-level queries不分析搜索词 阅读全文

摘要： 一、短语搜索(match phrase query) ### 短语搜索 ~~~ match_phrase是分词的，text也是分词的。 ~~~ match_phrase的分词结果必须在text字段分词中都包含，而且顺序必须相同，而且必须都是连续的 ### 搜索示例 GET /yanqi-proper 阅读全文

摘要： 一、query_string 查询 ### query_string查询 ~~~ 该查询与match类似，但是match需要指定字段名， ~~~ query_string是在所有字段中搜索，范围更广泛。 ~~~ Query String Query提供了无需指定某字段而对文档全文进行匹配查询的 ~~ 阅读全文

摘要： 一、全文搜索(full-text query) ### 全文搜索(full-text query) ~~~ 全文搜索能够搜索已分析的文本字段，如电子邮件正文，商品描述等。 ~~~ 使用索引期间应用于字段的同一分词器处理查询字符串。全文搜索的分类很多 几个典型的如下: 二、匹配搜索 ### 匹配搜索( 阅读全文

摘要： 一、Query DSL ### QueryDSL ~~~ https://www.elastic.co/guide/en/elasticsearch/reference/7.3/query-dsl.html ~~~ Elasticsearch提供了基于JSON的完整查询DSL（Domain Spec 阅读全文

摘要： 一、文档增删改查及局部更新 ### 文档增删改查及局部更新 ~~~ 文档，即索引库中的数据，会根据规则创建索引，将来用于搜索。 ~~~ 可以类比做数据库中的一行数据。 ### 新增文档 ~~~ 新增文档时，涉及到id的创建方式，手动指定或者自动生成。 ~~~ 新增文档（手动指定id） 二、创建文档： 阅读全文

摘要： 一、更新文档（全部更新） ### 把刚才新增的请求方式改为PUT，就是修改了，不过修改必须指定id ~~~ id对应文档存在，则修改 ~~~ id对应文档不存在，则新增 ~~~ 比如，我们把使用id为4，不存在，则应该是新增 ### 更新示例 ### 再次执行刚才的请求，不过把数据改一下：可以看到结 阅读全文

摘要： 一、映射操作 ### 映射操作 ~~~ 索引创建之后，等于有了关系型数据库中的database。 ~~~ Elasticsearch7.x取消了索引type类型的设置，不允许指定类型，默认为_doc，但字段仍然是有的， ~~~ 我们需要设置字段的约束信息，叫做字段映射（mapping）字段的约束包括 阅读全文

摘要： 一、词典使用 ### 词典使用 ~~~ # 扩展词： ~~~ 就是不想让哪些词被分开，让他们分成一个词。比如上面的江大桥 ~~~ # 停用词： ~~~ 有些词在文本中出现的频率非常高。但对本文的语义产生不了多大的影响。 ~~~ 例如英文的a、an、the、of等。或中文的”的、了、呢等”。这样的词称 阅读全文

摘要： 一、安装IK分词器 ### 安装IK分词器 ~~~ # hadoop01~03：使用root用户部署IK分词器，然后重启ES服务 ~~~ # 在elasticsearch安装目录的plugins目录下新建 analysis-ik 目录 [root@hadoop02 ~]# mkdir /opt/ya 阅读全文

摘要： 一、部署kibana服务 ### 下载kibana版本包 ~~~ # 下载kibana服务版本包：使用root用户部署 [root@hadoop02 software]# wget -c https://artifacts.elastic.co/downloads/kibana/kibana-7.3 阅读全文

摘要： 一、索引操作（创建、查看、删除） ### 创建索引库语法 ~~~ Elasticsearch采用Rest风格API，因此其API就是一次http请求， ~~~ 你可以用任何工具发起http请求 ~~~ # 语法 PUT / 索引名称 { "settings": { "属性名": "属性值" } } 阅读全文

摘要： 一、Kibana概述 ### 什么是Kibana ~~~ Kibana是一个基于Node.js的Elasticsearch索引库数据统计工具， ~~~ 可以利用Elasticsearch的聚合功能，生成各种图表，如柱形图，线状图，饼图等。 ~~~ 而且还提供了操作Elasticsearch索引数据的 阅读全文

摘要： 一、ElasticSearch-head：谷歌浏览其插件方式安装：# 测试环境推荐使用 ### ElasticSearch-head：谷歌浏览其插件方式安装：# 测试环境推荐使用 ~~~ Elasticsearch 5之后则需要将elasticsearch-head服务单独运行， ~~~ 并且支持C 阅读全文

摘要： 一、Elasticsearch 集群环境准备 ### hadoop01~03修改系统配置：修改/etc/sysctl.conf ~~~ # 修改/etc/sysctl.conf [root@hadoop01 ~]# vim /etc/sysctl.conf ~~~在文件末尾添加如下参数 vm.max 阅读全文

摘要： 一、安装elasticsearch-head插件 ### Elasticsearch Head插件介绍及安装和验证主从环境 ~~~ Elasticsearch Head插件介绍及安装 ### elasticsearch-head 简介 ~~~ elasticsearch-head是一个界面化的集群操 阅读全文

摘要： 一、Elasticsearch Single-Node Mode部署 ### Elasticsearch Single-Node Mode部署 ~~~ Elasticsearch是一个分布式全文搜索引擎， ~~~ 支持单节点模式(Single-Node Mode)和集群模式(Cluster Mode 阅读全文

摘要： 一、简单使用es ### 创建blog01索引 ~~~ # 创建blog01索引：若是返回是true，说明创建索引是成功的 [root@hadoop01 ~]# curl -XPUT http://hadoop01:9200/blog01/?pretty ~~~输出参数 { "acknowledge 阅读全文

摘要： 一、ElasticSearch架构图以及基本概念(术语) ### 概述 ~~~ Elasticsearch是面向文档(document oriented)的， ~~~ 这意味着它可以存储整个对象或文档(document)。 ~~~ 然而它不仅仅是存储，还会索引(index)每个文档的内容使之可以被搜 阅读全文

摘要： 一、ElasticSearch ### ELK：集中式日志系统 ~~~ 日志，对于任何系统来说都是及其重要的组成部分。 ~~~ 在计算机系统里面，更是如此。 ~~~ 但是由于现在的计算机系统大多比较复杂，很多系统都不是在一个地方，甚至都是跨国界的； ~~~ 即使是在一个地方的系统，也有不同的来源，比 阅读全文

摘要： 一、Elasticsearch ### 什么是ElasticSearch ~~~ Elasticsearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎， ~~~ 它可以近乎实时的存储、检索数据； ~~~ 本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。 ~~~ es也使用 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、Druid案例小结 ### Druid案例总结 ~~~ 在配置摄入源时要设置为True从流的开始进行消费数据，否则在数据源中可能查不到数据 ~~~ Druid的join能力非常有限，分组或者聚合多的场景推荐使用 ~~~ sql支持能力也非常受限 ~~~ 数据的分区组织只有时间序列一种方式 Wal 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、摄取kafka数据 ### 摄取kafka数据 ~~~ 摄取kafka数据：定义数据摄取规范，json数据要拉平，不用定义Rollup 二、启动数据源 ### 启动数据源 ~~~ 启动数据源 ~~~ 数据查询 三、加载数据源json文件 { "type": "kafka", "spec": { 阅读全文

摘要： 一、启动kafka生产者加载数据流 ### 查询数据流记录总数 ~~~ # 查记录总数 select count(*) as recordcount from yanqidruid2 ### 查订单总数 ~~~ # 查订单总数 select count(distinct orderId) as or 阅读全文

摘要： 一、编程实现kafka生产者 ### 编程实现kafka生产者：在SparkBigData工程下创建scala程序：KafkaProducerForDruid package cn.yanqi.druid import java.util.Properties import org.apache.k 阅读全文