分词器
分词器工作流程
切分词语,normalization
给你一段句子,然后将这段句子拆分成一个一个的单个的单词,同时对每个单词进行normalization(时态转换,单复数转换),分词器recall,召回率:搜索的时候,增加能够搜索到的结果的数量
character filter:在一段文本进行分词之前,先进行预处理,比如说最常见的就是,过滤html标签(<span>hello<span> --> hello),& --> and(I&you --> I and you) tokenizer:分词,hello you and me --> hello, you, and, me token filter:lowercase,stop word,synonymom,liked --> like,Tom --> tom,a/the/an --> 干掉,small --> little
一个分词器,很重要,将一段文本进行各种处理,最后处理好的结果才会拿去建立倒排索引
内置分词器的介绍
Set the shape to semi-transparent by calling set_trans(5) standard analyzer:set, the, shape, to, semi, transparent, by, calling, set_trans, 5(默认的是standard) simple analyzer:set, the, shape, to, semi, transparent, by, calling, set, trans whitespace analyzer:Set, the, shape, to, semi-transparent, by, calling, set_trans(5) stop analyzer:移除停用词,比如a the it等等 测试: POST _analyze { "analyzer":"standard", "text":"Set the shape to semi-transparent by calling set_trans(5)" }
定制分词器
1)默认的分词器 standard
standard tokenizer:以单词边界进行切分
standard token filter:什么都不做
lowercase token filter:将所有字母转换为小写
stop token filer(默认被禁用):移除停用词,比如a the it等等
修改分词器的设置
启用english停用词token filter PUT /my_index { "settings": { "analysis": { "analyzer": { "es_std": { "type": "standard", "stopwords": "_english_" } } } } } GET /my_index/_analyze { "analyzer": "standard", "text": "a dog is in the house" } GET /my_index/_analyze { "analyzer": "es_std", "text":"a dog is in the house" } 3、定制化自己的分词器 PUT /my_index { "settings": { "analysis": { "char_filter": { "&_to_and": { "type": "mapping", "mappings": ["&=> and"] } }, "filter": { "my_stopwords": { "type": "stop", "stopwords": ["the", "a"] } }, "analyzer": { "my_analyzer": { "type": "custom", "char_filter": ["html_strip", "&_to_and"], "tokenizer": "standard", "filter": ["lowercase", "my_stopwords"] } } } } } GET /my_index/_analyze { "text": "tom&jerry are a friend in the house, <a>, HAHA!!", "analyzer": "my_analyzer" } PUT /my_index/_mapping/my_type { "properties": { "content": { "type": "text", "analyzer": "my_analyzer" } } }
ik分词器详解
ik配置文件地址:es/plugins/ik/config目录
IKAnalyzer.cfg.xml:用来配置自定义词库
main.dic:ik原生内置的中文词库,总共有27万多条,只要是这些单词,都会被分在一起
quantifier.dic:放了一些单位相关的词
suffix.dic:放了一些后缀
surname.dic:中国的姓氏
stopword.dic:英文停用词
ik原生最重要的两个配置文件
main.dic:包含了原生的中文词语,会按照这个里面的词语去分词
stopword.dic:包含了英文的停用词
停用词,stopword
a the and at but
一般,像停用词,会在分词的时候,直接被干掉,不会建立在倒排索引中
4)IK分词器自定义词库
(1)自己建立词库:每年都会涌现一些特殊的流行词,网红,蓝瘦香菇,喊麦,鬼畜,一般不会在ik的原生词典里,自己补充自己的最新的词语,到ik的词库里面去
IKAnalyzer.cfg.xml:ext_dict,custom/mydict.dic 补充自己的词语,然后需要重启es,才能生效
(2)自己建立停用词库:比如了,的,啥,么,我们可能并不想去建立索引,让人家搜索
custom/ext_stopword.dic,已经有了常用的中文停用词,可以补充自己的停用词,然后重启es
IK分词器源码下载:https://github.com/medcl/elasticsearch-analysis-ik/tree
IK热更新
每次都是在es的扩展词典中,手动添加新词语,很坑 (1)每次添加完,都要重启es才能生效,非常麻烦 (2)es是分布式的,可能有数百个节点,你不能每次都一个一个节点上面去修改 es不停机,直接我们在外部某个地方添加新的词语,es中立即热加载到这些新词语 IKAnalyzer.cfg.xml
<properties> <comment>IK Analyzer 扩展配置</comment> <!--用户可以在这里配置自己的扩展字典 --> <entry key="ext_dict">location</entry> <!--用户可以在这里配置自己的扩展停止词字典--> <entry key="ext_stopwords">location</entry> <!--用户可以在这里配置远程扩展字典 --> <entry key="remote_ext_dict">words_location</entry> <!--用户可以在这里配置远程扩展停止词字典--> <entry key="remote_ext_stopwords">words_location</entry> </properties>
高亮显示
在搜索中,经常需要对搜索关键字做高亮显示,高亮显示也有其常用的参数,在这个案例中做一些常用参数的介绍。
现在搜索cars索引中remark字段中包含“大众”的document。并对“XX关键字”做高亮显示,高亮效果使用html标签<span>,并设定字体为红色。如果remark数据过长,则只显示前20个字符。
PUT /news_website { "mappings": { "properties": { "title": { "type": "text", "analyzer": "ik_max_word" }, "content": { "type": "text", "analyzer": "ik_max_word" } } } } PUT /news_website { "settings" : { "index" : { "analysis.analyzer.default.type": "ik_max_word" } } } PUT /news_website/_doc/1 { "title": "这是我写的第一篇文章", "content": "大家好,这是我写的第一篇文章,特别喜欢这个文章门户网站!!!" } GET /news_website/_doc/_search { "query": { "match": { "title": "文章" } }, "highlight": { "fields": { "title": {} } } } { "took" : 458, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value" : 1, "relation" : "eq" }, "max_score" : 0.2876821, "hits" : [ { "_index" : "news_website", "_type" : "_doc", "_id" : "1", "_score" : 0.2876821, "_source" : { "title" : "我的第一篇文章", "content" : "大家好,这是我写的第一篇文章,特别喜欢这个文章门户网站!!!" }, "highlight" : { "title" : [ "我的第一篇<em>文章</em>" ] } } ] } } <em></em>表现,会变成红色,所以说你的指定的field中,如果包含了那个搜索词的话,就会在那个field的文本中,对搜索词进行红色的高亮显示 GET /news_website/_doc/_search { "query": { "bool": { "should": [ { "match": { "title": "文章" } }, { "match": { "content": "文章" } } ] } }, "highlight": { "fields": { "title": {}, "content": {} } } } highlight中的field,必须跟query中的field一一对齐的 2、常用的highlight介绍 plain highlight,lucene highlight,默认 posting highlight,index_options=offsets (1)性能比plain highlight要高,因为不需要重新对高亮文本进行分词 (2)对磁盘的消耗更少 DELETE news_website PUT /news_website { "mappings": { "properties": { "title": { "type": "text", "analyzer": "ik_max_word" }, "content": { "type": "text", "analyzer": "ik_max_word", "index_options": "offsets" } } } } PUT /news_website/_doc/1 { "title": "我的第一篇文章", "content": "大家好,这是我写的第一篇文章,特别喜欢这个文章门户网站!!!" } GET /news_website/_doc/_search { "query": { "match": { "content": "文章" } }, "highlight": { "fields": { "content": {} } } } fast vector highlight index-time term vector设置在mapping中,就会用fast verctor highlight (1)对大field而言(大于1mb),性能更高 delete /news_website PUT /news_website { "mappings": { "properties": { "title": { "type": "text", "analyzer": "ik_max_word" }, "content": { "type": "text", "analyzer": "ik_max_word", "term_vector" : "with_positions_offsets" } } } } 强制使用某种highlighter,比如对于开启了term vector的field而言,可以强制使用plain highlight GET /news_website/_doc/_search { "query": { "match": { "content": "文章" } }, "highlight": { "fields": { "content": { "type": "plain" } } } } 总结一下,其实可以根据你的实际情况去考虑,一般情况下,用plain highlight也就足够了,不需要做其他额外的设置 如果对高亮的性能要求很高,可以尝试启用posting highlight 如果field的值特别大,超过了1M,那么可以用fast vector highlight 3、设置高亮html标签,默认是<em>标签 GET /news_website/_doc/_search { "query": { "match": { "content": "文章" } }, "highlight": { "pre_tags": ["<span color='red'>"], "post_tags": ["</span>"], "fields": { "content": { "type": "plain" } } } } 4、高亮片段fragment的设置 GET /_search { "query" : { "match": { "content": "文章" } }, "highlight" : { "fields" : { "content" : {"fragment_size" : 150, "number_of_fragments" : 3 } } } } fragment_size: 你一个Field的值,比如有长度是1万,但是你不可能在页面上显示这么长啊。。。设置要显示出来的fragment文本判断的长度,默认是100 number_of_fragments:你可能你的高亮的fragment文本片段有多个片段,你可以指定就显示几个片段