ElasticSearch实战（一）

ElasticSearch是什么？

ElasticSearch是一个RESTful风格的全文搜索引擎[Web服务]

全文搜索:全文检索是指计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。全文搜索搜索引擎数据库中的数据 （摘自百度百科）

elasticsearch安装参考官网教程地址

ElasticSearch的基本概念与原理

索引词（term）

在Elasticsearch中索引词（term）是一个能够被索引的精确值。foo、Foo、FOO几个单词是不同的索引词。索引词是可以通过term查询进行准确的搜索。

分析（analysis）

分析是将文本转换为索引词的过程，分析的结果依赖于分词器。比如：FOO、BAR、Foo-Bar和foo bar这几个单词有可能会被拆分成相同的索引词foo和bar，这些索引词存储在Elasticsearch的索引库中。当用FoO：bAR进行全文搜索的时候，搜索引擎根据匹配计算也能在索引库中搜索出之前的内容。

文本（text）

文本是一段普通的非结构化文字。通常，文本会被分析成一个个的索引词，存储在Elasticsearch的索引库中。为了让文本能够进行搜索，文本字段需要事先进行分析；当对文本中的关键词进行查询的时候，搜索引擎应该根据搜索条件搜索出原文本。

集群（cluster）

集群由一个或多个节点组成，对外提供服务，对外提供索引和搜索功能。在所有节点，一个集群有一个唯一的名称默认为“Elasticsearch”。此名称是很重要的，因为每个节点只能是集群的一部分，当该节点被设置为相同的集群名称时，就会自动加入集群。当需要有多个集群的时候，要确保每个集群的名称不能重复，否则，节点可能会加入错误的集群。请注意，一个节点只能加入一个集群。此外，你还可以拥有多个独立的集群，每个集群都有其不同的集群名称。例如，在开发过程中，你可以建立开发集群库和测试集群库，分别为开发、测试服务。Elasticsearch集群结构见图

 

 

 

节点（node）

一个节点是一个逻辑上独立的服务，它是集群的一部分，可以存储数据，并参与集群的索引和搜索功能。就像集群一样，节点也有唯一的名字，在启动的时候分配。如果你不想要默认名称，你可以定义任何你想要的节点名。这个名字在管理中很重要，在网络中Elasticsearch集群通过节点名称进行管理和通信。一个节点可以被配置加入一个特定的集群。默认情况下，每个节点会加入名为Elasticsearch的集群中，这意味着如果你在网络上启动多个节点，如果网络畅通，他们能彼此发现并自动加入一个名为Elasticsearch的集群中。在一个集群中，你可以拥有多个你想要的节点。当网络没有集群运行的时候，只要启动任何一个节点，这个节点会默认生成一个新的集群，这个集群会有一个节点。

路由（routing）

当存储一个文档的时候，它会存储在唯一的主分片中，具体哪个分片是通过散列值进行选择。默认情况下，这个值是由文档的ID生成。如果文档有一个指定的父文档，则从父文档ID中生成，该值可以在存储文档的时候进行修改。

分片（shard）

当存储一个文档的时候，它会存储在唯一的主分片中，具体哪个分片是通过散列值进行选择。默认情况下，这个值是由文档的ID生成。如果文档有一个指定的父文档，则从父文档ID中生成，该值可以在存储文档的时候进行修改。一个索引可以存储很大的数据，这些空间可以超过一个节点的物理存储的限制。例如，十亿个文档占用磁盘空间为1TB。仅从单个节点搜索可能会很慢，还有一台物理机器也不一定能存储这么多的数据。为了解决这一问题，Elasticsearch将索引分解成多个分片。当你创建一个索引，你可以简单地定义你想要的分片数量。每个分片本身是一个全功能的、独立的单元，可以托管在集群中的任何节点。

主分片（primary shard）

每个文档都存储在一个分片中，当你存储一个文档的时候，系统会首先存储在主分片中，然后会复制到不同的副本中。默认情况下，一个索引有5个主分片。你可以事先制定分片的数量，当分片一旦建立，则分片的数量不能修改。

副本分片（replica shard）

 

 

每一个分片有零个或多个副本。副本主要是主分片的复制，其中有两个目的：□增加高可用性：当主分片失败的时候，可以从副本分片中选择一个作为主分片。□提高性能：当查询的时候可以到主分片或者副本分片中进行查询。默认情况下，一个主分片配有一个副本，但副本的数量可以在后面动态地配置增加。副本分片必须部署在不同的节点上，不能部署在和主分片相同的节点上。分片主要有两个很重要的原因是：□允许水平分割扩展数据。□允许分配和并行操作（可能在多个节点上）从而提高性能和吞吐量。这些很强大的功能对用户来说是透明的，你不需要做什么操作，系统会自动处理。

 

复制（replica）

复制是一个非常有用的功能，不然会有单点问题。当网络中的某个节点出现问题的时候，复制可以对故障进行转移，保证系统的高可用。因此，Elasticsearch允许你创建一个或多个拷贝，你的索引分片就形成了所谓的副本或副本分片。复制是重要的，主要的原因有：□它提供了高可用性，当节点失败的时候不受影响。需要注意的是，一个复制的分片不会存储在同一个节点中。□它允许你扩展搜索量，提高并发量，因为搜索可以在所有副本上并行执行。每个索引可以拆分成多个分片。索引可以复制零个或者多个分片。一旦复制，每个索引就有了主分片和副本分片。分片的数量和副本的数量可以在创建索引时定义。当创建索引后，你可以随时改变副本的数量，但你不能改变分片的数量。默认情况下，每个索引分配5个分片和一个副本，这意味着你的集群节点至少要有两个节点，你将拥有5个主要的分片和5个副本分片共计10个分片。

 

索引（index）

索引是具有相同结构的文档集合。例如，可以有一个客户信息的索引，包括一个产品目录的索引，一个订单数据的索引。在系统上索引的名字全部小写，通过这个名字可以用来执行索引、搜索、更新和删除操作等。在单个集群中，可以定义多个你想要的索引。

 

类型（type）

在索引中，可以定义一个或多个类型，类型是索引的逻辑分区。在一般情况下，一种类型被定义为具有一组公共字段的文档。例如，让我们假设你运行一个博客平台，并把所有的数据存储在一个索引中。在这个索引中，你可以定义一种类型为用户数据，一种类型为博客数据，另一种类型为评论数据。

 

文档（document）

文档是存储在Elasticsearch中的一个JSON格式的字符串。它就像在关系数据库中表的一行。每个存储在索引中的一个文档都有一个类型和一个ID，每个文档都是一个JSON对象，存储了零个或者多个字段，或者键值对。原始的JSON文档被存储在一个叫作_source的字段中。当搜索文档的时候默认返回的就是这个字段。

 

映射（mapping）

映射像关系数据库中的表结构，每一个索引都有一个映射，它定义了索引中的每一个字段类型，以及一个索引范围内的设置。一个映射可以事先被定义，或者在第一次存储文档的时候自动识别。

字段（field）

文档中包含零个或者多个字段，字段可以是一个简单的值（例如字符串、整数、日期），也可以是一个数组或对象的嵌套结构。字段类似于关系数据库中表的列。每个字段都对应一个字段类型，例如整数、字符串、对象等。字段还可以指定如何分析该字段的值。

来源字段（source field）

默认情况下，你的原文档将被存储在_source这个字段中，当你查询的时候也是返回这个字段。这允许你可以从搜索结果中访问原始的对象，这个对象返回一个精确的JSON字符串，这个对象不显示索引分析后的其他任何数据。

主键（ID）

ID是一个文件的唯一标识，如果在存库的时候没有提供ID，系统会自动生成一个ID，文档的index/type/id必须是唯一的。

 

Elasticsearch的其他定义

elasticsearch服务也是存储了数据，但这种数据是非结构化的，所以常常会与结构化的数据库进行类比其类比关系如下图

 

 其中Type概念在高版本的ES中已被废弃

 正排索引

在建立索引的过程中由值(value)计算生成key的过程生成的索引就叫做正排索引。打个比喻（不一定严谨，帮助理解）李白作了一首诗 床前明月光。疑是地上霜。举头望明月。低头思故乡。为了能让这首（value）能被检索，所以给这首诗取名静夜思（key）。从诗的内容得出诗名。后续忘了诗的内容，拿着诗名即可找到具体的内容。

 倒排索引

实际上在全文检索中更多的是通过value的部分内容检索。将内容（value）通过分词得到关键字，将这些关键字变成key，原本的key变成value 建立的索引就是倒排索引。如下图的过程

通过将value分词做倒排准备

 将分词后的关键字做key，原本的key做value（相当于倒转）

 这样在全文检索中就可以通过内容的部分关键字找到具体的内容，比如输入 月光 通过匹配key中的月光关键字就可以找到静夜思这首诗

参考:《Elasticsearch技术解析与实战》