Loading

Elasticsearch中的一些重要概念

Elasticsearch 是一款分布式全文检索框架,底层基于基于Lucene实现。

Elasticsearch中的一些重要概念:cluster, node, index, document, shards及replica

一、基本概念:文档、索引

1、文档 (Document)
  • Elasticsearch 是面向文档的,文档是所有可搜索数据的最小单元。

  • 文档会被序列化为 JSON 格式,保存在 Elasticsearch 中。

    • JSON 对象由字段组成。
    • 每个字段都有对应的字段类型(字符串 / 数值 / 布尔 / 日期 / 二进制 / 范围类型)
  • 每个文档都有一个 Unique ID

    • 你可以自己指定 ID
    • 或者通过 Elasticsearch 自动生成。
    文档的元数据

    ​ 元数据,用于标注文档的相关信息。

    • _index : 文档所属的索引名。
    • _type : 文档所属的类型名。
    • _id : 文档唯一 ID。
    • _source : 文档的原始 JSON 数据。
    • _all : 整合所有字段内容到该字段,7.0版本开始已被废除。
    • _version : 文档的版本信息,每改动一次都会加一。
    • _source : 相关性打分。
2、索引(Index)
  • Index — 索引是文档的容器,是一类文档的结合。
    • Index 体现了逻辑空间的概念:每个索引都有自己的 Mapping 定义,用户定义包含的文档的字段名和字段类型。
    • Shard 体现了物理空间的概念:索引中的数据分散在 Shard 上。
  • 索引的 Mapping 和 Settings
    • Mapping 定义文档字段的类型。
    • Setting 定义不同的数据分布。

二、基本概念:节点、分片、集群

1、节点(Node)
  • 节点是一个 Elasticsearch 的实例
    • 本质上就是一个 JAVA 进程
    • 一台机器上可以运行多个 Elasticsearch 进程,但是生产环境一般建议一台机器上只运行一个 Elasticsearch 实例。
  • 每一个节点都有名字,通过配置文件配置,或者启动的时候 -e node.name=node1 来指定。‘
  • 每一个节点在启动之后,会分配一个 UID,保存在 data 目录下。
2、分片(Primary Shard & Replica Shard)
  • 主分片,用以解决数据水平扩展的问题。通过主分片,可以将数据分布到集群内的所有节点上。
    • 一个分片是一个运行的 Lucene 的实例。
    • 主分片在创建时指定,后续不允许修改,除非 Rdindex。
  • 副本,用以解决数据高可用的问题。分片是主分片的拷贝。
    • 副本分片数量,可以动态调整。
    • 增加副本数,可以在一定程度上提高服务的可用性(读取的吞吐)。
分片的设定
  • 对于生产环境中分片的设定,需要提前做好容量规划
    • 分片设置过小
      • 导致互殴徐无法增加节点实现水平扩展
      • 单个分片数据量太大,导致数据重新分配耗时
    • 分片书设置过大,从 7.0 开始,默认主分片设置成了 1,解决了 over-sharding 的问题
      • 影响搜索结果的的相关性打分,影响统计结果的准确性
      • 单个节点上过多的分片,会导致资源浪费,同时也会影响性能

3、集群

​ 集群是多个 Elasticsearch 节点的集合,这些节点应对单个节点无法处理的搜索需求和数据存储需求。

​ 集群同时也是对于部分机器(节点)运行中断或者升级导致无法提供服务这一问题的利器。

​ 我们可以在config/elasticsearch.yml里定制我们的集群的名字:

4、查看集群的健康情况

GET _cluster/health

通过上面的命令来获取整个集群的状态。这个状态只能被 master node 所改变。

es 通过三种颜色来表明集群的建康程度

  • Green : 主分片与副本都分配正常
  • Yellow : 主分片全部正常分配,有副本分片未能正常分配
  • Red :有主分片未能分配
    • 例如:当服务器磁盘容量超过85%时,去创建一个新的索引
三、ES与传统数据的区别(7.0以上版本):

ps:ES 7.0 之前存储结构是 Index -> Type -> Document,7.0之后type被废弃了

传统数据库 Elasticsearch
table (表) Index
Row(行) Document
Column(字段) Field
SQL Query DSL
SELECT * from table.. GET http://...
UPDATE table set ... PUT http://...

Elastchsearch(集群)中可以包含多个索引(数据库),每个索引中可以包含多个类型(表),

每个类型下面又包含多个文档(行),每个文档中包含多字段(列);

四、物理设计:

Elasticsearch在后台默认会把每个索引划成多个分片,每个分片可以在集群不同服务器之间进行迁移。

If you’re going to reuse code, you need to understand that code!
posted @ 2020-05-24 17:07  不颓废青年  阅读(496)  评论(0编辑  收藏  举报