ES之二:ES规范 index 原则

一、index说明

相信有不少读者用elasticsearch的时候第一个难题就是如何创建好一个index。下面给出具体的样例和原则,帮助大家创建一个相对适合自己业务场景的index,有助于开展后续的开发工作。

        先上创建index的模板:

curl -XPUT 'http://127.0.0.1:9200/my_index_name_v1?pretty' -d '{
  "aliases": {
    "my_index_name": {} 
  },
  "settings": {
    "index": {
      "refresh_interval": "10s",
      "number_of_shards" : "12",
      "number_of_replicas" : "1",
      "search.slowlog.threshold.query.warn": "5s",
      "search.slowlog.threshold.query.info": "1s",
      "search.slowlog.threshold.fetch.warn": "1s",
      "search.slowlog.threshold.fetch.info": "800ms",
      "indexing.slowlog.threshold.index.warn": "12s",
      "indexing.slowlog.threshold.index.info": "5s"
    }
  },
  "mappings": {
    "my_type_name": {
      "properties": {
        "xxx_id": {
          "type": "keyword"
        },
        "timestamp" : {
          "type": "long"
        },
        "@timestamp" : {
          "type": "date"
        },
        "xxx_status": {
          "type": "integer"
        },
        "xxx_content": {
          "type": "text"
        }
      }
    }
  }
}'

 现在讲该模板进行分类讲解:

URI部分

http方法:首先要注意是put方法,es的http接口严格遵从restful风格,创建属于put。大家在用某些工具注意选择正确的方法,比如cerebro插件的默认方法是post,方法使用不当,除了命令执行失败以外还有可能会污染mapping结构。
index名字:若业务类型只需要建立一个固定的index进行业务访问,强烈推荐让你的index名字加后缀_v1,方便后续因为主分片数调整或者调整某字段类型等原因需要reindex。若不加后缀,且没有指定好index的别名,最终的结果是reindex需要业务线停止写入,且需要改代码将访问index名字改为index的别名,这时可能会取名为xxx_v1,导致额外的工作。总之,建议index名字为your_indexname_v1,而别名为index_name。
pretty标记:建议加入,但不强制。

设置部分

refresh_interval:该设置主要是每隔多久刷新数据,可以让刚刚写入的数据被查到。若写入数据量较大或者业务对于变更后及时查到的要求不高,则可以设置时间大一些。推荐一些粗糙的准则,若一天的写入能超过100g的数据量,则建议至少设置为10s,500g设置为60s,1T以上设置为120s。具体的以当时集群硬件配置和所有index读取写入的情况而定。
number_of_shards和number_of_replicas:主分片数和副本分片数,推荐直接设置为12,副本分片数设置为1。具体可以参考文章:https://blog.csdn.net/tanruixing/article/details/87883896
慢日志设置:建议读取写入根据业务访问情况进行设置,唯一需要注意的是不要设置过小,则可能会将磁盘打满,甚至影响数据存储。强烈推荐必须设置,方便后续观察业务使用情况。

mapping部分

  • type名字:一般来讲,推荐一个index对应一个type,若有多个type,则所有的type的字段大部分应该是相同的。若全部不同,推荐将type设置为index的名字,分成多个index,防止由于文档字段稀疏导致浪费存储
  • 字段名称包含id,推荐用keyword类型,若业务能确认一定是字符串类型,则可以用long型
  • 时间戳类型,推荐为long型,方便业务访问,或者date类型,方便kibana和grafana访问。
  • status或者type字段,推荐用integer类型,便于枚举
  • content字段,推荐确认对应的分词器,设置为text类型,不推荐用keyword。特别是字段很长的情况。

二、命名规范:

1、inde索引命名规范受文件系统的限制。仅可能为小写字母,不能下划线开头。同时需遵守下列规则:

  1. 不能包括 , /, *, ?, ", <, >, |, 空格, 逗号, #
  2. 7.0版本之前可以使用冒号:,但不建议使用并在7.0版本之后不再支持
  3. 不能以这些字符 -, _, + 开头
  4. 不能包括 . 或 …
  5. 长度不能超过 255 个字符

以上这些命名限制是因为当Elasticsearch使用索引名称作为磁盘上的目录名称,这些名称必须符合不同操作系统的约定。
我猜想未来可能会放开这些限制,因为我们使用uuid关联索引放在磁盘上,而不使用索引名称。

2、类型:类型名称可以包括除了null的任何字符,不能以下划线开头。7.0版本之后不再支持类型,默认为_doc。

3、字段:对字段命名规范及不能完全使用空格。点号可以使用,但用于对象类型,举例:

"foo.bar.baz": "abc"

相当于:

"foo": {
  "bar": {
    "baz": "abc"
  }
}

“对象路径”必须是有效的。所以foo . . bar,这就产生了连锁反应,因为它不能解析到有效路径。类似的:

"foo.": {
  "bar": {
    "baz": "abc"
  }
}

同样这个命名也是不容许的,因为以点号结尾会造成混淆。所以. .不能使用。

4、路由:路由命名也是除了空的任何字符。问题是多个路由值传入查询字符串,使用逗号分隔,如:
?routing=foo,bar

如果路由值包含逗号,会造成路由值解析错误。

 

三、Elasticsearch支持文档中字段的多种不同数据类型

核心数据类型

字符串:textkeyword

(text类型的数据被用来索引长文本,例如电子邮件主体部分或者一款产品的介绍,这些文本会被分析,在建立索引文档之前会被分词器进行分词,转化为词组。经过分词机制之后es允许检索到该文本切分而成的词语,但是text类型的数据不能用来过滤、排序和聚合等操作。
    keyword类型的数据可以满足电子邮箱地址、主机名、状态码、邮政编码和标签等数据的要求,不进行分词,常常被用来过滤、排序和聚合
    综上,可以发现text类型在存储数据的时候会默认进行分词,并生成索引。而keyword存储数据的时候,不会分词建立索引,显然,这样划分数据更加节省内存。)

数字:longintegershortbytedoublefloathalf_floatscaled_float

日期:date

日期纳秒:date_nanos

布尔:boolean

二进制:binary

范围:integer_rangefloat_rangelong_rangedouble_rangedate_range

复杂数据类型

对象object:用于单个JSON对象

嵌套nested:用于JSON对象数组

地理数据类型

Geo-point:geo_point表示lat/lon坐标点

Geo-shape:geo_shape用于复杂形状(如多边形)

专门的数据类型

IP:ip用于IPv4和IPv6地址

完成数据类型:completion提供自动完成建议

令牌数:token_count用于计算字符串中的令牌数量

mapper-murmur3:murmur3在索引时计算值的哈希值并将它们存储在索引中

mapper-annotated-text:annotated-text索引包含特殊标记的文本(通常用于标识命名实体)

过滤器:接受来自query-dsl的查询

连接:为同一索引中的文档定义父/子关系

别名:定义现有字段的别名

排名功能:记录数字特性以提高查询时的命中率。

密集向量:记录浮点值的密集向量。

稀疏向量:记录浮点值的稀疏向量。

按类型搜索:类似文本的字段,为查询进行优化,以实现按类型完成

数组

在Elasticsearch中,数组不需要专用字段数据类型,默认情况下,任何字段都可以包含零个或多个值,但是数组中的所有值必须具有相同的数据类型。

多字段

为不同的目的以不同的方式索引相同的字段通常是有用的,例如,字符串字段可以映射为用于全文搜索的text字段,以及用于排序或聚合的keyword字段,或者,你可以使用标准分析器、英语分析器和法语分析器索引文本字段。

这就是多字段的目的,大多数数据类型通过fields参数支持多字段。

 

四、elasticsearch中的复合主键,类似MYSQL唯一索引功能

在elasticsearch 无法设置多主键,只有唯一ID。
但是我们可以设置ID的规则,来实现多主键。
比如本来想设置两个主键,分别是NAME 和 AGE ,id=name_age
是因为在同一个index下,id是唯一的。


转自:https://blog.csdn.net/tanruixing/article/details/88426009

参考:https://blog.csdn.net/neweastsun/article/details/95868716

参考:https://blog.csdn.net/kakaluoteyy/article/details/80324553

参考:https://blog.csdn.net/ahahwang/article/details/90635324

posted on 2017-03-10 11:32  duanxz  阅读(7675)  评论(0编辑  收藏  举报