ElasticStack学习(七):ElasticSearch之Mapping初探

一、Mapping的概念

  1、Mapping类似于数据库中的Schema的定义,作用如下:

    1)定义索引中的字段的名称;

    2)定义字段的数据类型,例如字符串、数字、日期、布尔等;

    3)对每个字段进行倒排索引的建立及相关配置;

    4)Mapping会将Json文档映射成Lucene所需要的扁平格式;

    5)一个Mapping属于一个索引的Type,从7.0开始,不需要在Mapping中指定Type信息;

  2、字段的数据类型

    1)简单类型

      Text(会增加Keyword子字段);

      Date;

         Integer/Long/Floating;

      Boolean;

      IP4&IP6;

      Keyword;

    2)复杂类型

      对象类型;

      嵌套类型;

      数组(由第一个非空数值的类型所决定);

      空值;

    3)特殊类型(地理信息)

      geo_point&geo_shape

二、Dynamic Mapping的概念

  1、在写入文档的时候,如果索引不存在,则会自动创建索引;

  2、由于上述机制,可以无需手动定义Mapping,ElasticSearch会自动根据文档信息,推算出字段的类型;

  3、但是有时候推算的可能不对,当类型设置的不对时,会导致一些功能无法正常运行,比如范围内的Range查询;

三、Mapping与Dynamic Mapping的使用

  1、推断字段的类型

//创建一个文档
put mapping_test/_doc/1
{
    "id":"100",
    "isvip":false,
    "isadmin":"true",
    "age":18,
    "height":180
}
//查看索引Mapping结构
get mapping_test/_mapping
//删除索引
delete mapping_test

   

  由上图中可以得出,ElasticSearch基本上可以按照数据推断出预想的字段类型,由于isadmin字段的值是由双引号所括起来的,所以该字段被推断成text类型。

  2、更改Mapping的字段类型

  对于索引后期加入的字段,可以按照如下情况进行设置:

    1)新增加字段

      a)Dynamic设置为True时,一旦有新增字段的文档写入,Mapping同时会被更新;

      b)Dynamic设置为False时,有新增字段的文档写入,Mapping不会被更新,新增字段的数据也无法被索引,但是信息会出现在_Source中;

      c)Dynamic设置成Strict时,文档写入失败;

    

    2)已有字段

      a)对于已有字段,一旦已经有数据写入,就不再支持修改字段定义。因为Lucene实现的倒排索引,一旦生成后,就不允许修改。

      b)如果希望改变已有字段类型,必须ReIndex,重建索引;

      为什么会这样?

      I)如果修改了字段的数据类型,会导致已被索引的属于无法被搜索;

      II)正因为如此,对于新增加的字段,就不会有这个问题的影响;

  3、对于这几种情况,我们通过下图进行演示:

    1)对于dynamic为true时,对于创建的文档中的某一字段进行搜索,是可以查询到的。

    

    2)将dynamic设置为false,然后新增一个name字段,然后对其搜索,是无法搜索到的。

    

    同时mapping中也不存在该字段。

    

    但是可以在_Source中看到这个字段。

    

    3)将dynamic设置为strict,然后新增一个grade字段,会发现出现异常。

     

 四、索引Mapping的显式定义

  1、Mapping定义的方式有两种:

    1)可以参考API手册,纯手写;

    2)为了减少输入工作量,减少出错概率,可以依照以下步骤:

      a)创建一个临时的Index,写入一些样本数据;

      b)通过访问Mapping API获取该临时索引的动态Mapping定义;

      c)修改成符合要求的Json,然后创建显式索引;

      d)将临时索引删除;

  2、显式Mapping定义的语法:

Put Index_Name
{
    "mappings":{
         定义Mapping信息,Json格式
     "properties":{
        "column_name":{
          "type":"text"
        },
        "column_name":{
          "type":"long"
        }
        ...
      }
}
}

  3、显式Mapping定义的说明:

    1)控制当前字段是否可以被索引,默认是True。如果设置成False,则该字段不可被搜索。

     将不被搜索的字段设置成索引为false,可以节省磁盘开销,因为这样该字段就不需要进行倒排索引了。

 

    2)对于需要索引的字段,ElasticSearch提供了Index_options配置,可以控制倒排索引记录的内容,Index_options提供了四种控制级别:

      a)docs:记录doc的Id;

      b)freqs:记录doc Id、Term Frequencies;

      c)positions:记录doc Id、Term Frequencies、Term Position;

      d)offsets:记录doc Id、Term Frequencies、Term Position、Character offsets;

    3)Text类型默认是positions级别,其他类型默认是docs级别;

    4)索引字段需要记录的内容越多,那么占用存储空间越大;

    5)只有keyword类型支持设定Null值;

    

    6)copy_to的设置,是将字段的值拷贝到所设定的目标字段中,当查询时,可以将该目标字段做为搜索字段进行查询。但是该目标字段不会出现在_source中。

    

     7)数组类型在ElasticSearch中并不提供,但是对于任何字段,是可以包含多个相同类型的数据的。

     

    8)对字段还可以指定特定的analyzer。

    

    9)查看索引Mapping,如下所示:  

    

五、ElasticSearch字段特性与自定义Analyzer

  1、Exact Values(精确值)、Full Text(全文本)

    Exact Values就是指具体数字、日期、字符串,此类值是不需要进行分词的;

    Full Text:是非结构化的文本数据,是需要进行分词的;

  

  2、自定义分词器

  当ElasticSearch自带的分词器无法满足要求时,可以自定义分词器,通过组合不同的Character Filter、Tokenizer、Token Filter进行实现。

  1)Charater Filters

    a)在Tokenizer之前,通过使用Character Filters对文本进行处理,如删除或者替换字符。此种处理会影响后续Tokenizer对Term的Position与Offset的信息。

    b)可以设置多个Character Filters,一个自带的Character Filters包括:HTML Strip(去除HTML标签)、Mapping(字符串替换)、Pattern Replace(正则表达式替换)。

    如下图所示:

    

    

    

  2)Tokenizer

    a)将原始的文本按照一定的规则,进行切分成词(Term or Token);

    b)内置的Tokenizer有:Standard、uax_url_email、WhiteSpace、keyword、Pattern、Path hierarchy;

    c)可以实现自己的Tokenizer插件;

    如下图所示:

    

   3)Token Filters

    a)将Tokenizer输出的Term,进行增加、修改、删除;

    b)内置的Token Filters有:lowercase、stop、synonym(近义词);

    如下图所示:

    

  3、自定义Analyzer使用

   

  在图中的emotion、customer、english_stop,是分别对Character Filter、Tokenizer、Token Filter的自定义配置。

   

  注意:字段类型keyword与text类型的子字段keyword的说明:

    1、一切文本类型的字符串可以定义成"text"或"keyword"两种类型。区别在于,text类型会使用默认分词器分词(当然也可以指定特定的分词器),keyword类型默认不会对其进行分词;

    2、多字段类型情况下,查询时可以用title,也可以用title.keyword查询类型为keyword的子字段;

 

  大家可关注我的公众号 

    

  知识学习来源:阮一鸣:《Elasticsearch核心技术与实战》  

posted on 2019-07-16 12:41 SuperSnowYao 阅读(...) 评论(...) 编辑 收藏

导航