ElasticSearch基本介绍

一、基本概念

文档（Document）

• ElasticSearch是面向文档的，文档是所有可搜索数据的最小单位

1、日志中的日志项

2、一本电影的具体信息/一张唱片的详细信息

3、MP3播放器里的一首歌/一片PDF文档中的具体内容

 

• 文档会被序列化成JSON格式，保存在Elasticsearch中

1、JSON对象有字段组成

2、每个字段都有对应的字段类型（字符串 / 数值 / 布尔 / 日期 / 二进制 / 范围类型）

 

• 每个文档都有一个Unique ID

1、你可以自己指定ID

2、或者通过ElasticSearch自动生成

 

 

JSON文档

• 一篇文档包含了一系列的字段。类似数据库表中的一条记录
• JSON文档，格式灵活，不需要预先定义格式
• 字段的类型可以指定或通过ElasticSearch自动推算
• 支持数组/ 支持嵌套

 

 

文档的元数据

• 元数据，用于标注文档的相关信息
•  _index —— 文档所属的索引名
•  _type —— 文档所属的类型名
•  _id —— 文档唯一ID
•  _source ： 文档的原始JSON数据
•  _all ： 整合所有字段内同到该字段，已被废除
•  _version ： 文档的版本信息
•  _score ： 相关性打分

 

 

 

 

索引

• Index —— 索引是文档的容器，是一类文档的结合
• Index 体现了逻辑空间的概念：每个索引都有自己的Mapping定义，用于定义包含的文档的字段名和字段类型
• Shard 体现了物理空间的概念：索引中的数据分散在Shard上
• 索引的Mapping与Setting
• Mapping定义文档字段的类型
• Setting定义不同的数据分布

 

 

 

 

索引的不同语义

• 名词：一个ElasticSearch 集群中，可以创建很多个不同的索引
• 动词：保存一个文档到ElasticSearch的过程也叫索引（indexing）
• ES中，创建一个倒排索引的过程
• 名词：一个B树索引，一个倒排索引

 

 

 

 

Type

• 在7.0之前，一个Index可以设置多个Types
• 在6.0开始，Type已经被Deprecated。7.0开始，一个索引只能创建一个Type——“_doc”

 

 

抽象与类比

• 在7.0之前，一个Index可以设置多个Types
• 在6.0开始，Type已经被Deprecated。7.0开始，一个索引只能创建一个Type——“_doc”
• 传统关系型数据库和ElasticSearch的区别
• ElasticSearch —— Schemaless / 相关性 / 高性能全文检索
• RDMS —— 事务性 / Join

 

 

 

 

二、分布式系统

分布式系统的可用性与扩展性

• 高可用性
• 服务可用性 —— 允许有节点停止服务
• 数据可用性 —— 部分节点丢失，不会丢失数据
• 可扩展性
• 请求量提升 / 数据的不断增长（将数据分布到所有节点上）

 

分布式特性

• ElasticSearch的分布式架构的好处
• 存储的水平扩容
• 提高系统的可用性，部分节点停止服务，整个集群的服务不受影响
• ElasticSearch的分布式架构
• 不同的集群通过不同的名字来区分，默认名字“ElasticSearch”
• 通过配置文件修改，或者在命令行中 -E cluster.name=geektime 进行设定
• 一个集群可以有一个或者多个节点

 

节点

• 节点是一个ElasticSearch的实例
• 本质上就是一个java集成
• 一台机器上可以运行多个ElasticSearch进程，但是生产环境一般建议一台机器上只运行一个ElasticSearch实例
• 每一个节点都有名字，通过配置文件配置，或者启动的时候在命令行中 -E node.name=node1 进行设定
• 每一个节点在启动之后，会分配一个UID，保存在data目录下

 

Master-eligible nodes和Master Node

• 每个节点启动后，默认就是一个Master-eligible 节点
• 可以在配置文件中设置node.master:false禁止
• Master-eligible节点可以参加选主流程，成为master节点
• 当第一个节点启动的时候，它会将自己选举成master节点
• 每个节点上都保存了集群的状态，只有Master节点才能修改集群的状态信息
• 集群状态（Cluster state），维护了一个集群中，必要的信息
• 所有的节点信息
• 所有的索引和其相关的Mapping与Setting信息
• 分片的路由信息
• 任意节点都能修改信息会导致数据的不一致性

 

Data node & Coordinating Node

• Data node
• 可以保存数据的节点，叫做Data node。负责保存分片数据。在数据扩展上起到了至关重要的作用
• Coordinating Node
• 负责接收Client的请求，将请求分发到合适的节点，最终把结果汇集到一起
• 每个节点默认都起了Coordinating Node的职责

 

其他的节点类型

• Hot & Warm Node
• 不同的硬件配置的Data Node，用来实现Hot & Warm架构，降低集群部署的成本
• Machine Learning Node
• 负责跑机器学习的Job，用来做异常检测，发出警报
• Tribe Node
• （5.3 开始使用Cross Cluster Search）Tribe Node连接到不同的ElasticSearch集群，并且支持将这些集群当成一个单独的集群处理。

 

配置节点类型

• 开发环境中一个节点可以承担多种角色
• 生产环境中，应该设置单一的角色的节点（dedicated node）

 

 

 

 

分片（Primary Shard & Reolica Shard）

• 主分片，用以解决数据水平扩展的问题。通过主分片，可以将数据分布到集群内的所有节点之上
• 一个分片是一个运行的Lucene的实例
• 主分片数在索引创建时指定，后续不允许修改，除非Reindex
• 副本，用以解决数据高可用的问题。分片是主分片的拷贝
• 副本分片数，可以动态调整
• 增加副本数，还可以一定程度上提高服务的可用性（读取的吞吐）
• 一个三节点的集群中，blogs索引的分片分布情况
• 思考：增加一个节点或者改大主分片数对系统的影响？

 

 

 

分片的设定

• 对于生产环境中分片的设定，需要提前做好容量规划
• 分片数设置过小
• 导致后续无法增加节点实现水平扩展
• 单个分片的数据量太大，导致数据重新分配耗时
• 分片数设置过大，7.0开始，默认主分片设置为1，解决了over-sharding的问题
• 影响搜索结果的相关性打分，影响统计结果的准确性
• 单个节点上过多的分片，会导致资源浪费，同事也会影响性能

 

查看集群的健康状况

• Green —— 主分片与副本分片都正常
• Yellow —— 主分片全部正常分配，有副本分片未能正常分配
• Red —— 有主分片未能正常分配
• 例如，当前服务器的磁盘容量超过了85%时，去创建 了一个新的索引

 

 

 

三、文档的基本CRUD与批量操作

文档的CRUD

• Type名，约定都用_doc
• Create —— 如果ID已经存在，会失败
• Index —— 如果ID不存在，创建新的文档。否则，先删除现有的文档，再创建新的文档，版本会增加
• Update —— 文档必须已经存在，更新只会对相应字段做增量修改

 

 

 

Get 一个文档

• 找到文档，返回 HTTP 200
• 文档元信息
• _index / _type /
• 版本信息，同一个id的文档，即使被删除，version号也会不断增加
• _source中默认包含了文档中的所有原始信息
•  找不到文档，返回 HTTP 404

 

 

Index文档

• Index和Create不一样的地方：如果文档不存在，就索引新的文档。否则现有文档会被删除，新的文档被索引。版本信息+1

 

 

Index文档

• Update方法不会删除原来的文档，而是实现真正的数据更新
• Post方法 / Payload需要包含在“doc”中

 

 

Bulk API

• 支持在一次API调用中，对不同的索引进行操作
• 支持四种类型操作
• Index
• Create
• Update
• Delete
• 可以在URI中指定Index，也可以在请求的Payload中进行
• 操作中单条操作失败，并不会影响其他操作
• 返回结果包括了每一条操作执行的结果

 

批量读取-mget

批量查询-msearch

常见错误返回

 

四、倒排索引

图书和搜索引擎的类比

• 图书
• 正排索引 —— 目录页
• 倒排索引 —— 索引页
• 搜索引擎
• 正排索引 —— 文档ID到文档内容和单词的关联
• 倒排索引 —— 单词到文档ID的关系

 

倒排索引的核心组成

• 倒排索引包含两个部分
• 单词词典（Term Dictionary），记录所有文档的单词，记录单词到倒排列表的关联关系
• 单词词典一般比较大，可以通过B+树或哈希拉链法实现，以满足高性能的插入与查询
• 倒排列表（Posting List），记录了单词对应的文档结合，由倒排索引项组成
• 倒排索引项（Posting）
• 文档ID
• 词频 TF —— 该单词在文档中出现的次数，用于相关性评分
• 位置 Position —— 单词在文档中分词的位置。用于语句搜索（phrase query）
• 偏移（offset） —— 记录单词的开始结束位置，实现高亮显示

 

ElasticSearch的倒排索引

• ElasticSearch的JSON文档中的每个字段，都有自己的倒排索引
• 可以指定对某些字段不做索引
• 缺点：字段无法被搜索
• 优点：节省存储空间