分布式搜索引擎-ElasticSearch详解

ElasticSearch简介

什么是ElasticSearch

ElaticSearch，简称为ES， ES是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。ES也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。

 

ElasticSearch对比Solr

①Solr利用Zookeeper进行分布式管理，而Elasticsearch自身带有分布式协调管理功能。

②Solr支持更多格式的数据，而Elasticsearch仅支持json文件格式。

③Solr官方提供的功能更多，而Elasticsearch本身更注重于核心功能，高级功能多有第三方插件提供。

④Solr在传统的搜索应用中表现好于Elasticsearch，但在处理实时搜索应用时效率明显低于Elasticsearch。

 

ElasticSearch的安装

Windows下安装ElasticSearch

①下载ElasticSearch安装包

②解压ElasticSearch安装包，目录结构如下图

 ③修改ElasticSearch的配置文件：./config/elasticsearch.yml，增加以下两句命令

# 允许elasticsearch跨越访问，如果不安装elasticsearch-head，是可以不修改配置文件，直接启动。
http.cors.enabled: true
http.cors.allow-origin: "*"

④启动ElasticSearch服务：./bin/elasticsearch.bat，控制台显示日志信息如下

ElasticSearch会使用两个端口9300和9200，9300是TCP通讯端口，集群间和TCPClient都执行该端口，9200是HTTP协议的RESTful接口

⑤通过浏览器访问ElasticSearch服务器，看到如下返回的json信息，代表服务启动成功

  

安装ElasticSearch的图形化界面插件

简介

ElasticSearch不同于Solr自带图形化界面，可以通过安装ElasticSearch的head插件，完成图形化界面的效果，完成索引数据的查看。安装插件的方式有两种，在线安装和本地安装。elasticsearch-5-*以上版本安装elasticsearch-head需要安装node和grunt

 

安装步骤

①下载elasticsearch-head-master

 ②解压elasticsearch-head-master安装包，目录结构如下图

 ③下载nodejs，安装步骤略过，安装完成后，在DOS窗口查看是否安装成功，使用命令：node -v，出现如下截图，则说明安装成功

 ④安装grunt，在node安装路径下，使用命令安装：npm install -g grunt-cli安装grunt，安装结束后，使用命令grunt -version查看是否安装成功出现如下截图，则说明安装成功

 ⑤在DOS窗口进入到elasticsearch-head-master路径下，使用命令npm install安装pathomjs

 ⑥启动服务，使用命令：npm start启用服务，出现如下截图，则说明服务启动成功

 ⑦浏览器访问：localhost:9100，出现如下截图，则说明elasticsearch-head安装成功，默认端口是9100

  

ElasticSearch相关概念

概述

Elasticsearch是面向文档（document oriented）的，这意味着它可以存储整个对象或文档（document）。然而它不仅仅是存储，还会索引（index）每个文档的内容使之可以被搜索。在Elasticsearch中，你可以对文档（而非成行成列的数据）进行索引、搜索、排序、过滤。Elasticsearch对比传统关系型数据库如下：

Elasticsearch对比传统关系型数据库

Relational DB	Elasticsearch
Databases	Indices
Tables	Types
Rows	Documents
Columns	Fields

 

Elasticsearch核心概念

索引（index）

一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。在一个集群中，可以定义任意多的索引。

类型（type）

在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你来定。通常，会为具有一组共同字段的文档定义一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一个类型，当然，也可以为评论数据定义另一个类型。

字段（field）

相当于是数据表的字段，对文档数据根据不同属性进行的分类标识。

映射（mapping）

mapping是处理数据的方式和规则方面做一些限制，如某个字段的数据类型、默认值、分析器、是否被索引等等，这些都是映射里面可以设置的，其它就是处理es里面数据的一些使用规则设置也叫做映射，按着最优规则处理数据对性能提高很大，因此才需要建立映射，并且需要思考如何建立映射才能对性能更好。

文档（document）

一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，当然，也可以拥有某个订单的一个文档。文档以JSON（Javascript Object Notation）格式来表示，而JSON是一个到处存在的互联网数据交互格式。

在一个index/type里面，你可以存储任意多的文档。注意，尽管一个文档，物理上存在于一个索引之中，文档必须被索引/赋予一个索引的type。

接近实时（NRT）

ElasticSearch是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1秒以内）。

集群（cluster）

一个集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提供索引和搜索功能。一个集群由一个唯一的名字标识，这个名字默认就是“elasticsearch”。这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入这个集群。

节点（node）

一个节点是集群中的一个服务器，作为集群的一部分，它存储数据，参与集群的索引和搜索功能。和集群类似，一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在启动的时候赋予节点。这个名字对于管理工作来说挺重要的，因为在这个管理过程中，你会去确定网络中的哪些服务器对应于ElasticSearch集群中的哪些节点。

一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫做“elasticsearch”的集群中，这意味着，如果你在你的网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中。

在一个集群里，只要你想，可以拥有任意多个节点。而且，如果当前你的网络中没有运行任何Elasticsearch节点，这时启动一个节点，会默认创建并加入一个叫做“elasticsearch”的集群。

分片和复制（shards&replicas）

一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有10亿文档的索引占据1TB的磁盘空间，而任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢。为了解决这个问题，ElasticSearch提供了将索引划分成多份的能力，这些份就叫做分片。当你创建一个索引的时候，你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置到集群中的任何节点上。

分片很重要，主要有两方面的原因：

1）允许你水平分割/扩展你的内容容量。

2）允许你在分片（潜在地，位于多个节点上）之上进行分布式的、并行的操作，进而提高性能/吞吐量。

至于一个分片怎样分布，它的文档怎样聚合回搜索请求，是完全由ElasticSearch管理的，对于作为用户的你来说，这些都是透明的。

在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于离线状态，或者由于任何原因消失了，这种情况下，有一个故障转移机制是非常有用并且是强烈推荐的。为此目的，ElasticSearch允许你创建分片的一份或多份拷贝，这些拷贝叫做复制分片，或者直接叫复制。

复制之所以重要，有两个主要原因： 在分片/节点失败的情况下，提供了高可用性。因为这个原因，注意到复制分片从不与原/主要（original/primary）分片置于同一节点上是非常重要的。扩展你的搜索量/吞吐量，因为搜索可以在所有的复制上并行运行。总之，每个索引可以被分成多个分片。一个索引也可以被复制0次（意思是没有复制）或多次。一旦复制了，每个索引就有了主分片（作为复制源的原来的分片）和复制分片（主分片的拷贝）之别。分片和复制的数量可以在索引创建的时候指定。在索引创建之后，你可以在任何时候动态地改变复制的数量，但是你事后不能改变分片的数量。

默认情况下，ElasticSearch中的每个索引被分片5个主分片和1个复制，这意味着，如果你的集群中至少有两个节点，你的索引将会有5个主分片和另外5个复制分片（1个完全拷贝），这样的话每个索引总共就有10个分片。

 

ElasticSearch的客户端操作

实际开发中，主要有三种方式可以作为ElasticSearch服务的客户端。

第一种：使用elasticsearch-head插件。

第二种：使用ElasticSearch提供的Restful接口直接访问。

第三种：使用ElasticSearch提供的API进行访问。

 

Postman概述

Postman是款强大网页调试工具的windows客户端，提供功能强大的Web API & HTTP 请求调试。软件功能非常强大，界面简洁明晰、操作方便快捷，设计得很人性化。Postman中文版能够发送任何类型的HTTP请求 (GET、HEAD、POST、PUT等)，且可以附带任何数量的参数。

 

Postman安装步骤

①下载Postman

②双击安装即可

 

使用Postman进行Restful访问（DSL语句）

ElasticSearch的接口语法

curl -X<VERB> '<PROTOCOL>://<HOST>:<PORT>/<PATH>?<QUERY_STRING>' -d '<BODY>'

选项详解

参数	说明
VERB	适当的HTTP方法或谓词：GET、POST、PUT、HEAD 或者DELETE
PROTOCOL	http或者https（如果你在ElasticSearch前面有一个https代理）
HOST	ElasticSearch集群中任意节点的主机名，或者用localhost代表本地机器上的节点
PORT	运行ElasticSearch的HTTP服务的端口号，默认是 9200
PATH	API的终端路径（例如_count将返回集群中文档数量）。Path可能包含多个组件，例如：_cluster/stats 和_nodes/stats/jvm
QUERY_STRING	任意可选的查询字符串参数（例如pretty将格式化地输出JSON返回值，使其更容易阅读）
BODY	一个JSON格式的请求体 (如果请求需要的话)

 

创建索引库时映射

请求url

PUT    localhost:9200/blog

请求体

{
    "mappings":{
        "article":{
            "properties":{
                "id":{
                    "type":"long",
                    "store":true
                },
                "title":{
                    "type":"text",
                    "store":true,
                    "index":true,
                    "analyzer":"standard"
                },
                "content":{
                    "type":"text",
                    "store":true,
                    "index":true,
                    "analyzer":"standard"
                }
            }
        }
    }
}

执行成功返回的数据

{
    "acknowledged": true,
    "shards_acknowledged": true,
    "index": "blog"
}

 

创建索引库

请求url

PUT    localhost:9200/blog1

请求体：无

执行成功返回的数据

{
    "acknowledged": true,
    "shards_acknowledged": true,
    "index": "blog1"
}

 

设置映射

请求url

POST    http://localhost:9200/blog1/hello/_mappings

请求体

{
    "hello":{
        "properties":{
            "id":{
                "type":"long",
                "store":true
            },
            "title":{
                "type":"text",
                "store":true,
                "index":true,
                "analyzer":"standard"
            },
            "content":{
                "type":"text",
                "store":true,
                "index":true,
                "analyzer":"standard"
            }
        }
    }
}

执行成功返回的数据

{
    "acknowledged": true
}

 

删除索引库

请求url

DELETE    http://localhost:9200/blog1

请求参数：无

执行成功返回的数据

{
    "acknowledged": true
}

 

向索引库中添加文档

请求url

POST    http://localhost:9200/blog/article/1

请求参数

{
    "id": 1,
    "title": "ElasticSearch是一个基于Lucene的搜索服务器",
    "content": "它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。"
}

 

执行成功返回的数据

{
    "_index": "blog",
    "_type": "article",
    "_id": "1",
    "_version": 1,
    "result": "created",
    "_shards": {
        "total": 2,
        "successful": 1,
        "failed": 0
    },
    "created": true
}

 

修改文档

请求url

POST    http://localhost:9200/blog/article/1

请求参数

{
    "id": 1,
    "title": "【修改】ElasticSearch是一个基于Lucene的搜索服务器",
    "content": "【修改】它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。"
}

执行成功返回的数据

{
    "_index": "blog",
    "_type": "article",
    "_id": "1",
    "_version": 2,
    "result": "updated",
    "_shards": {
        "total": 2,
        "successful": 1,
        "failed": 0
    },
    "created": false
}

 

删除文档

请求url

DELETE    http://localhost:9200/blog/article/1

请求参数：无

执行成功返回的数据

{
    "found": true,
    "_index": "blog",
    "_type": "article",
    "_id": "1",
    "_version": 3,
    "result": "deleted",
    "_shards": {
        "total": 2,
        "successful": 1,
        "failed": 0
    }
}

 

查询文档

准备数据

①创建商品索引库与映射

# 请求url
PUT    http://localhost:9200/goods

# 请求参数
{
    "mappings": {
        "mobile_phone": {
            "properties": {
                "id": {
                    "type": "long",
                    "store": true,
                    "index": "not_analyzed"
                },
                "title": {
                    "type": "text",
                    "store": true,
                    "index": "analyzed",
                    "analyzer": "standard"
                },
                "content": {
                    "type": "text",
                    "store": true,
                    "index": "analyzed",
                    "analyzer": "standard"
                }
            }
        }
    }
}


# 执行成功返回的数据
{
    "acknowledged": true,
    "shards_acknowledged": true,
    "index": "goods"
}

 

②向商品索引库内添加文档

# 添加文档1
# 请求url
POST    http://localhost:9200/goods/mobile_phone/1

# 请求参数
{
    "id": 1,
    "title": "小米8",
    "content": "【屏幕指纹版/后指纹可选】购机赠：高品质音乐耳机+手环支架+一拖三数据线（苹果安卓通用）+运费险+本店质保一年；全国联保+厂家直供小米8se到手价1299。"
}

# 执行成功返回的数据
{
    "_index": "goods",
    "_type": "mobile_phone",
    "_id": "1",
    "_version": 1,
    "result": "created",
    "_shards": {
        "total": 2,
        "successful": 1,
        "failed": 0
    },
    "created": true
}


# 添加文档2
# 请求url
POST    http://localhost:9200/goods/mobile_phone/2

# 请求参数
{
    "id": 2,
    "title": "小米10",
    "content": "小米10旗舰产品，尊享白条分期12期免息，骁龙865处理器【小米10至尊版限时抢购中!点击直达】"
}

# 执行成功返回的数据
{
    "_index": "goods",
    "_type": "mobile_phone",
    "_id": "2",
    "_version": 1,
    "result": "created",
    "_shards": {
        "total": 2,
        "successful": 1,
        "failed": 0
    },
    "created": true
}


# 添加文档3
# 请求url
POST    http://localhost:9200/goods/mobile_phone/3

# 请求参数
{
    "id": 3,
    "title": "红米k30",
    "content": "王一博同款，120Hz流速屏，前置挖孔双摄，索尼6400万后置四摄，4500mAh超长续航，27W快充，6GB+128GB 紫玉幻境，游戏智能手机"
}

# 执行成功返回的数据
{
    "_index": "goods",
    "_type": "mobile_phone",
    "_id": "3",
    "_version": 1,
    "result": "created",
    "_shards": {
        "total": 2,
        "successful": 1,
        "failed": 0
    },
    "created": true
}


# 添加文档4
# 请求url
POST    http://localhost:9200/goods/mobile_phone/4

# 请求参数
{
    "id": 4,
    "title": "华为p30",
    "content": "麒麟980AI智能芯片，感光徕卡三摄，全面屏屏内指纹版，天空之境，8GB+128GB，全网通。"
}

# 执行成功返回的数据
{
    "_index": "goods",
    "_type": "mobile_phone",
    "_id": "4",
    "_version": 1,
    "result": "created",
    "_shards": {
        "total": 2,
        "successful": 1,
        "failed": 0
    },
    "created": true
}


# 添加文档5
# 请求url
POST    http://localhost:9200/goods/mobile_phone/5

# 请求参数
{
    "id": 5,
    "title": "华为笔记本",
    "content": "笔记本电脑MateBook 14，2020款锐龙版，14英寸，R5，4600H，16G+512G，2K触控全面屏，多屏协同，轻薄本，深空灰。"
}

# 执行成功返回的数据
{
    "_index": "goods",
    "_type": "mobile_phone",
    "_id": "5",
    "_version": 1,
    "result": "created",
    "_shards": {
        "total": 2,
        "successful": 1,
        "failed": 0
    },
    "created": true
}

 

方式一：根据ID查询

请求url

GET    http://localhost:9200/goods/mobile_phone/1

请求参数：无

执行成功返回的数据

{
    "_index": "goods",
    "_type": "mobile_phone",
    "_id": "1",
    "_version": 1,
    "found": true,
    "_source": {
        "id": 1,
        "title": "小米8",
        "content": "【屏幕指纹版/后指纹可选】购机赠：高品质音乐耳机+手环支架+一拖三数据线（苹果安卓通用）+运费险+本店质保一年；全国联保+厂家直供小米8se到手价1299。"
    }
}

 

方式二：querystring查询

请求url

GET    http://localhost:9200/goods/mobile_phone/_search

请求参数

{
    "query":{
        "query_string":{
            "default_field":"title",
            "query":"小米"
        }
    }
}

执行成功返回的数据

{
    "took": 15,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 3,
        "max_score": 1.219939,
        "hits": [
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "2",
                "_score": 1.219939,
                "_source": {
                    "id": 2,
                    "title": "小米10",
                    "content": "小米10旗舰产品，尊享白条分期12期免息，骁龙865处理器【小米10至尊版限时抢购中!点击直达】"
                }
            },
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "1",
                "_score": 0.5063205,
                "_source": {
                    "id": 1,
                    "title": "小米8",
                    "content": "【屏幕指纹版/后指纹可选】购机赠：高品质音乐耳机+手环支架+一拖三数据线（苹果安卓通用）+运费险+本店质保一年；全国联保+厂家直供小米8se到手价1299。"
                }
            },
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "3",
                "_score": 0.25316024,
                "_source": {
                    "id": 3,
                    "title": "红米k30",
                    "content": "王一博同款，120Hz流速屏，前置挖孔双摄，索尼6400万后置四摄，4500mAh超长续航，27W快充，6GB+128GB 紫玉幻境，游戏智能手机"
                }
            }
        ]
    }
}

 

方式三：trem查询

请求url

GET    http://localhost:9200/goods/mobile_phone/_search

请求参数

{
    "query": {
        "term": {
            "title": "米"
        }
    }
}

执行成功返回的数据

{
    "took": 2,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 3,
        "max_score": 0.6099695,
        "hits": [
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "2",
                "_score": 0.6099695,
                "_source": {
                    "id": 2,
                    "title": "小米10",
                    "content": "小米10旗舰产品，尊享白条分期12期免息，骁龙865处理器【小米10至尊版限时抢购中!点击直达】"
                }
            },
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "1",
                "_score": 0.25316024,
                "_source": {
                    "id": 1,
                    "title": "小米8",
                    "content": "【屏幕指纹版/后指纹可选】购机赠：高品质音乐耳机+手环支架+一拖三数据线（苹果安卓通用）+运费险+本店质保一年；全国联保+厂家直供小米8se到手价1299。"
                }
            },
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "3",
                "_score": 0.25316024,
                "_source": {
                    "id": 3,
                    "title": "红米k30",
                    "content": "王一博同款，120Hz流速屏，前置挖孔双摄，索尼6400万后置四摄，4500mAh超长续航，27W快充，6GB+128GB 紫玉幻境，游戏智能手机"
                }
            }
        ]
    }
}

 

方式四：fuzzy查询（模糊查询）

请求url

GET    http://localhost:9200/goods/mobile_phone/_search

请求参数

{
    "query": {
        "fuzzy": {
            "title": "米"
        }
    }
}

执行成功返回的数据

{
    "took": 1,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 3,
        "max_score": 0.6099695,
        "hits": [
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "2",
                "_score": 0.6099695,
                "_source": {
                    "id": 2,
                    "title": "小米10",
                    "content": "小米10旗舰产品，尊享白条分期12期免息，骁龙865处理器【小米10至尊版限时抢购中!点击直达】"
                }
            },
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "1",
                "_score": 0.25316024,
                "_source": {
                    "id": 1,
                    "title": "小米8",
                    "content": "【屏幕指纹版/后指纹可选】购机赠：高品质音乐耳机+手环支架+一拖三数据线（苹果安卓通用）+运费险+本店质保一年；全国联保+厂家直供小米8se到手价1299。"
                }
            },
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "3",
                "_score": 0.25316024,
                "_source": {
                    "id": 3,
                    "title": "红米k30",
                    "content": "王一博同款，120Hz流速屏，前置挖孔双摄，索尼6400万后置四摄，4500mAh超长续航，27W快充，6GB+128GB 紫玉幻境，游戏智能手机"
                }
            }
        ]
    }
}

 

过滤后查询

请求url

GET    http://localhost:9200/goods/mobile_phone/_search

请求参数

{
    "query":{
        "bool":{
            "filter":{
                "term":{
                    "title":"8"
                }
            },
            "must":[
                {
                    "match":{
                        "title":"米"
                    }
                }
            ]
        }
    }
}

执行成功返回的数据

{
    "took": 12,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 1,
        "max_score": 0.25316024,
        "hits": [
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "1",
                "_score": 0.25316024,
                "_source": {
                    "id": 1,
                    "title": "小米8",
                    "content": "【屏幕指纹版/后指纹可选】购机赠：高品质音乐耳机+手环支架+一拖三数据线（苹果安卓通用）+运费险+本店质保一年；全国联保+厂家直供小米8se到手价1299。"
                }
            }
        ]
    }
}

 

查询后过滤

请求url

GET    http://localhost:9200/goods/mobile_phone/_search

请求参数

{
    "query":{
        "match":{
            "title":"米"
        }
    },
    "post_filter":{
        "term":{
            "title":"8"
        }
    }
}

执行成功返回的数据

{
    "took": 2,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 1,
        "max_score": 0.25316024,
        "hits": [
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "1",
                "_score": 0.25316024,
                "_source": {
                    "id": 1,
                    "title": "小米8",
                    "content": "【屏幕指纹版/后指纹可选】购机赠：高品质音乐耳机+手环支架+一拖三数据线（苹果安卓通用）+运费险+本店质保一年；全国联保+厂家直供小米8se到手价1299。"
                }
            }
        ]
    }
}

 

分页查询

请求url

GET    http://localhost:9200/goods/mobile_phone/_search

请求参数

{
    "query": {
        "match_all": {}
    },
    "from": 1,
    "size": 1
}

执行成功返回的数据

{
    "took": 1,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 5,
        "max_score": 1.0,
        "hits": [
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "2",
                "_score": 1.0,
                "_source": {
                    "id": 2,
                    "title": "小米10",
                    "content": "小米10旗舰产品，尊享白条分期12期免息，骁龙865处理器【小米10至尊版限时抢购中!点击直达】"
                }
            }
        ]
    }
}

 

投影查询

请求url

GET    http://localhost:9200/goods/mobile_phone/_search

请求参数

{
    "query": {
        "match_all": {}
    },
    "_source": [
        "title",
        "content"
    ]
}

执行成功返回的数据

{
    "took": 3,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 5,
        "max_score": 1.0,
        "hits": [
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "5",
                "_score": 1.0,
                "_source": {
                    "title": "华为笔记本",
                    "content": "笔记本电脑MateBook 14，2020款锐龙版，14英寸，R5，4600H，16G+512G，2K触控全面屏，多屏协同，轻薄本，深空灰。"
                }
            },
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "2",
                "_score": 1.0,
                "_source": {
                    "title": "小米10",
                    "content": "小米10旗舰产品，尊享白条分期12期免息，骁龙865处理器【小米10至尊版限时抢购中!点击直达】"
                }
            },
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "4",
                "_score": 1.0,
                "_source": {
                    "title": "华为p30",
                    "content": "麒麟980AI智能芯片，感光徕卡三摄，全面屏屏内指纹版，天空之境，8GB+128GB，全网通。"
                }
            },
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "1",
                "_score": 1.0,
                "_source": {
                    "title": "小米8",
                    "content": "【屏幕指纹版/后指纹可选】购机赠：高品质音乐耳机+手环支架+一拖三数据线（苹果安卓通用）+运费险+本店质保一年；全国联保+厂家直供小米8se到手价1299。"
                }
            },
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "3",
                "_score": 1.0,
                "_source": {
                    "title": "红米k30",
                    "content": "王一博同款，120Hz流速屏，前置挖孔双摄，索尼6400万后置四摄，4500mAh超长续航，27W快充，6GB+128GB 紫玉幻境，游戏智能手机"
                }
            }
        ]
    }
}

 

多值查询

请求url

GET    http://localhost:9200/goods/mobile_phone/_mget

请求参数

{
  "ids": [2,1,3]
}

执行成功返回的数据

{
    "docs": [
        {
            "_index": "goods",
            "_type": "mobile_phone",
            "_id": "2",
            "_version": 1,
            "found": true,
            "_source": {
                "id": 2,
                "title": "小米10",
                "content": "小米10旗舰产品，尊享白条分期12期免息，骁龙865处理器【小米10至尊版限时抢购中!点击直达】"
            }
        },
        {
            "_index": "goods",
            "_type": "mobile_phone",
            "_id": "1",
            "_version": 1,
            "found": true,
            "_source": {
                "id": 1,
                "title": "小米8",
                "content": "【屏幕指纹版/后指纹可选】购机赠：高品质音乐耳机+手环支架+一拖三数据线（苹果安卓通用）+运费险+本店质保一年；全国联保+厂家直供小米8se到手价1299。"
            }
        },
        {
            "_index": "goods",
            "_type": "mobile_phone",
            "_id": "3",
            "_version": 1,
            "found": true,
            "_source": {
                "id": 3,
                "title": "红米k30",
                "content": "王一博同款，120Hz流速屏，前置挖孔双摄，索尼6400万后置四摄，4500mAh超长续航，27W快充，6GB+128GB 紫玉幻境，游戏智能手机"
            }
        }
    ]
}

 

高亮查询

请求url

GET    http://localhost:9200/goods/mobile_phone/_search

请求参数

{
    "query": {
        "match": {
            "title": "虾米"
        }
    },
    "highlight": {
        "fields": {
            "title": {}
        },
        "pre_tags": [
            "<span style='color:red'>"
        ],
        "post_tags": [
            "</span>"
        ]
    }
}

执行成功返回的数据

{
    "took": 35,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 3,
        "max_score": 0.6099695,
        "hits": [
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "2",
                "_score": 0.6099695,
                "_source": {
                    "id": 2,
                    "title": "小米10",
                    "content": "小米10旗舰产品，尊享白条分期12期免息，骁龙865处理器【小米10至尊版限时抢购中!点击直达】"
                },
                "highlight": {
                    "title": [
                        "小<span style='color:red'>米</span>10"
                    ]
                }
            },
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "1",
                "_score": 0.25316024,
                "_source": {
                    "id": 1,
                    "title": "小米8",
                    "content": "【屏幕指纹版/后指纹可选】购机赠：高品质音乐耳机+手环支架+一拖三数据线（苹果安卓通用）+运费险+本店质保一年；全国联保+厂家直供小米8se到手价1299。"
                },
                "highlight": {
                    "title": [
                        "小<span style='color:red'>米</span>8"
                    ]
                }
            },
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "3",
                "_score": 0.25316024,
                "_source": {
                    "id": 3,
                    "title": "红米k30",
                    "content": "王一博同款，120Hz流速屏，前置挖孔双摄，索尼6400万后置四摄，4500mAh超长续航，27W快充，6GB+128GB 紫玉幻境，游戏智能手机"
                },
                "highlight": {
                    "title": [
                        "红<span style='color:red'>米</span>k30"
                    ]
                }
            }
        ]
    }
}

 

聚合查询

请求url

GET    http://localhost:9200/goods/mobile_phone/_search

请求参数

{
    "aggs": {
        "MyOwnGroupBy": {
            "terms": {
                "field": "title.keyword",
                "size": 10
            }
        }
    }
}

执行成功返回的数据

{
    "took": 16,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 5,
        "max_score": 1.0,
        "hits": [
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "5",
                "_score": 1.0,
                "_source": {
                    "id": 5,
                    "title": "华为笔记本",
                    "content": "笔记本电脑MateBook 14，2020款锐龙版，14英寸，R5，4600H，16G+512G，2K触控全面屏，多屏协同，轻薄本，深空灰。"
                }
            },
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "2",
                "_score": 1.0,
                "_source": {
                    "id": 2,
                    "title": "小米10",
                    "content": "小米10旗舰产品，尊享白条分期12期免息，骁龙865处理器【小米10至尊版限时抢购中!点击直达】"
                }
            },
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "4",
                "_score": 1.0,
                "_source": {
                    "id": 4,
                    "title": "华为p30",
                    "content": "麒麟980AI智能芯片，感光徕卡三摄，全面屏屏内指纹版，天空之境，8GB+128GB，全网通。"
                }
            },
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "1",
                "_score": 1.0,
                "_source": {
                    "id": 1,
                    "title": "小米8",
                    "content": "【屏幕指纹版/后指纹可选】购机赠：高品质音乐耳机+手环支架+一拖三数据线（苹果安卓通用）+运费险+本店质保一年；全国联保+厂家直供小米8se到手价1299。"
                }
            },
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "3",
                "_score": 1.0,
                "_source": {
                    "id": 3,
                    "title": "红米k30",
                    "content": "王一博同款，120Hz流速屏，前置挖孔双摄，索尼6400万后置四摄，4500mAh超长续航，27W快充，6GB+128GB 紫玉幻境，游戏智能手机"
                }
            }
        ]
    },
    "aggregations": {
        "MyOwnGroupBy": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": []
        }
    }
}

 

区间查询

请求url

GET    http://localhost:9200/goods/mobile_phone/_search

请求参数

{
    "query": {
        "bool": {
            "filter": {
                "range": {
                    "id": {
                        "gt": 2,
                        "lt": 4
                    }
                }
            }
        }
    }
}

执行成功返回的数据

{
    "took": 12,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 1,
        "max_score": 0.0,
        "hits": [
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "3",
                "_score": 0.0,
                "_source": {
                    "id": 3,
                    "title": "红米k30",
                    "content": "王一博同款，120Hz流速屏，前置挖孔双摄，索尼6400万后置四摄，4500mAh超长续航，27W快充，6GB+128GB 紫玉幻境，游戏智能手机"
                }
            }
        ]
    }
}

 

排序

请求url

GET    http://localhost:9200/goods/mobile_phone/_search

请求参数

{
    "sort": [
        {
            "id": {
                "order": "desc"
            }
        }
    ]
}

执行成功返回的数据

{
    "took": 2,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 5,
        "max_score": null,
        "hits": [
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "5",
                "_score": null,
                "_source": {
                    "id": 5,
                    "title": "华为笔记本",
                    "content": "笔记本电脑MateBook 14，2020款锐龙版，14英寸，R5，4600H，16G+512G，2K触控全面屏，多屏协同，轻薄本，深空灰。"
                },
                "sort": [
                    5
                ]
            },
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "4",
                "_score": null,
                "_source": {
                    "id": 4,
                    "title": "华为p30",
                    "content": "麒麟980AI智能芯片，感光徕卡三摄，全面屏屏内指纹版，天空之境，8GB+128GB，全网通。"
                },
                "sort": [
                    4
                ]
            },
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "3",
                "_score": null,
                "_source": {
                    "id": 3,
                    "title": "红米k30",
                    "content": "王一博同款，120Hz流速屏，前置挖孔双摄，索尼6400万后置四摄，4500mAh超长续航，27W快充，6GB+128GB 紫玉幻境，游戏智能手机"
                },
                "sort": [
                    3
                ]
            },
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "2",
                "_score": null,
                "_source": {
                    "id": 2,
                    "title": "小米10",
                    "content": "小米10旗舰产品，尊享白条分期12期免息，骁龙865处理器【小米10至尊版限时抢购中!点击直达】"
                },
                "sort": [
                    2
                ]
            },
            {
                "_index": "goods",
                "_type": "mobile_phone",
                "_id": "1",
                "_score": null,
                "_source": {
                    "id": 1,
                    "title": "小米8",
                    "content": "【屏幕指纹版/后指纹可选】购机赠：高品质音乐耳机+手环支架+一拖三数据线（苹果安卓通用）+运费险+本店质保一年；全国联保+厂家直供小米8se到手价1299。"
                },
                "sort": [
                    1
                ]
            }
        ]
    }
}

 

中文分词器

标准分词器效果测试

请求url

GET    http://localhost:9200/_analyze?analyzer=standard&pretty=true&text=我是程序员

执行成功返回的数据

{
    "tokens": [
        {
            "token": "我",
            "start_offset": 0,
            "end_offset": 1,
            "type": "<IDEOGRAPHIC>",
            "position": 0
        },
        {
            "token": "是",
            "start_offset": 1,
            "end_offset": 2,
            "type": "<IDEOGRAPHIC>",
            "position": 1
        },
        {
            "token": "程",
            "start_offset": 2,
            "end_offset": 3,
            "type": "<IDEOGRAPHIC>",
            "position": 2
        },
        {
            "token": "序",
            "start_offset": 3,
            "end_offset": 4,
            "type": "<IDEOGRAPHIC>",
            "position": 3
        },
        {
            "token": "员",
            "start_offset": 4,
            "end_offset": 5,
            "type": "<IDEOGRAPHIC>",
            "position": 4
        }
    ]
}

经过测试发现，标准分词器分词结果并不是我们想要的效果，我们想要的效果是：我、是、程序、程序员。

这样的话就需要对中文支持良好的分析器的支持，支持中文分词的分词器有很多，比如：IK分词器、word分词器、庖丁解牛、盘古分词、Ansj分词等，但我们常用的是IK分词器。

 

IK分词器简介

IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出 了3个大版本。最初，它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为 面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。

IK分词器3.0的特性如下：

①采用了特有的“正向迭代最细粒度切分算法“，具有60万字/秒的高速处理能力。

②采用了多子处理器分析模式，支持：英文字母（IP地址、Email、URL）、数字（日期，常用中文数量词，罗马数字，科学计数法），中文词汇（姓名、地名处理）等分词处理。

③对中英联合支持不是很好,在这方面的处理比较麻烦.需再做一次查询,同时是支持个人词条的优化的词典存储，更小的内存占用。

④支持用户词典扩展定义。

⑤针对Lucene全文检索优化的查询分析器IKQueryParser；采用歧义分析算法优化查询关键字的搜索排列组合，能极大的提高Lucene检索的命中率。

 

ElasticSearch集成IK分词器的步骤

①访问：http://localhost:9200，查看ElasticSearch版本

 

 

 ②下载IK分词器，对应版本

 

 

 ③解压，将解压后的文件夹拷贝到./plugins下，并重命名文件夹为analysis-ik，目录结构如下图

 

 

 ④重新启动ElasticSearch，即可加载IK分词器

 

IK分词器效果测试

IK提供了两个分词算法ik_smart和ik_max_word，其中 ik_smart为最少切分，ik_max_word为最细粒度切分。

 

最少切分ik_smart

请求url

GET    http://127.0.0.1:9200/_analyze?analyzer=ik_smart&pretty=true&text=我是程序员

执行成功返回的数据

{
    "tokens": [
        {
            "token": "我",
            "start_offset": 0,
            "end_offset": 1,
            "type": "CN_CHAR",
            "position": 0
        },
        {
            "token": "是",
            "start_offset": 1,
            "end_offset": 2,
            "type": "CN_CHAR",
            "position": 1
        },
        {
            "token": "程序员",
            "start_offset": 2,
            "end_offset": 5,
            "type": "CN_WORD",
            "position": 2
        }
    ]
}

 

最细力度切分ik_max_word

请求urlGET http://127.0.0.1:9200/_analyze?analyzer=ik_max_word&pretty=true&text=我是程序员

 

执行成功返回的参数

{
    "tokens": [
        {
            "token": "我",
            "start_offset": 0,
            "end_offset": 1,
            "type": "CN_CHAR",
            "position": 0
        },
        {
            "token": "是",
            "start_offset": 1,
            "end_offset": 2,
            "type": "CN_CHAR",
            "position": 1
        },
        {
            "token": "程序员",
            "start_offset": 2,
            "end_offset": 5,
            "type": "CN_WORD",
            "position": 2
        },
        {
            "token": "程序",
            "start_offset": 2,
            "end_offset": 4,
            "type": "CN_WORD",
            "position": 3
        },
        {
            "token": "员",
            "start_offset": 4,
            "end_offset": 5,
            "type": "CN_CHAR",
            "position": 4
        }
    ]
}

 

ElasticSearch集群

简介

ES集群是一个 P2P类型（使用gossip协议）的分布式系统，除了集群状态管理以外，其他所有的请求都可以发送到集群内任意一台节点上，这个节点可以自己找到需要转发给哪些节点，并且直接跟这些节点通信。所以，从网络架构及服务配置上来说，构建集群所需要的配置极其简单。在ElasticSearch 2.0 之前，无阻碍的网络下，所有配置了相同cluster.name的节点都自动归属到一个集群中。2.0 版本之后，基于安全的考虑避免开发环境过于随便造成的麻烦，从 2.0 版本开始，默认的自动发现方式改为了单播（unicast）方式。配置里提供几台节点的地址，ElasticSearch将其视作gossip router角色，借以完成集群的发现。由于这只是ElasticSearch内一个很小的功能，所以gossip router角色并不需要单独配置，每个ElasticSearch节点都可以担任。所以，采用单播方式的集群，各节点都配置相同的几个节点列表作为router即可。

集群中节点数量没有限制，一般大于等于2个节点就可以看做是集群了。一般处于高性能及高可用方面来考虑一般集群中的节点数量都是3个及3个以上。

 

集群的搭建

①准备三台ElasticSearch服务器：创建elasticsearch-cluster文件夹，在内部复制三个elasticsearch服务

②修改每台服务器配置：修改elasticsearch-cluster\node*\config\elasticsearch.yml配置文件

#节点1的配置信息：
#集群名称，保证唯一
cluster.name: my-elasticsearch
#节点名称，必须不一样
node.name: node-1
#必须为本机的ip地址
network.host: 127.0.0.1
#服务端口号，在同一机器下必须不一样
http.port: 9200
#集群间通信端口号，在同一机器下必须不一样
transport.tcp.port: 9300
#设置集群自动发现机器ip集合
discovery.zen.ping.unicast.hosts: ["127.0.0.1:9300","127.0.0.1:9301","127.0.0.1:9302"]


#节点2的配置信息：
#集群名称，保证唯一
cluster.name: my-elasticsearch
#节点名称，必须不一样
node.name: node-2
#必须为本机的ip地址
network.host: 127.0.0.1
#服务端口号，在同一机器下必须不一样
http.port: 9201
#集群间通信端口号，在同一机器下必须不一样
transport.tcp.port: 9301
#设置集群自动发现机器ip集合
discovery.zen.ping.unicast.hosts: ["127.0.0.1:9300","127.0.0.1:9301","127.0.0.1:9302"]


#节点3的配置信息：
#集群名称，保证唯一
cluster.name: my-elasticsearch
#节点名称，必须不一样
node.name: node-3
#必须为本机的ip地址
network.host: 127.0.0.1
#服务端口号，在同一机器下必须不一样
http.port: 9202
#集群间通信端口号，在同一机器下必须不一样
transport.tcp.port: 9302
#设置集群自动发现机器ip集合
discovery.zen.ping.unicast.hosts: ["127.0.0.1:9300","127.0.0.1:9301","127.0.0.1:9302"]

③启动各个节点服务器：双击elasticsearch-cluster\node*\bin\elasticsearch.bat

 

集群测试

①添加索引和映射

请求url

PUT    http://127.0.0.1:9200/test

请求参数

{
    "mappings": {
        "article": {
            "properties": {
                "id": {
                    "type": "long",
                    "store": true,
                    "index": "not_analyzed"
                },
                "title": {
                    "type": "text",
                    "store": true,
                    "index": "analyzed",
                    "analyzer": "standard"
                },
                "content": {
                    "type": "text",
                    "store": true,
                    "index": "analyzed",
                    "analyzer": "standard"
                }
            }
        }
    }
}

②添加文档

请求url

POST    http://localhost:9200/test/article/1

请求参数

{
    "id": 1,
    "title": "ElasticSearch是一个基于Lucene的搜索服务器",
    "content": "它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。"
}

③使用elasticsearch-head查看集群情况