打赏

Elasticsearch之中文分词器

 

前提

什么是倒排索引?

Elasticsearch之分词器的作用

Elasticsearch之分词器的工作流程

Elasticsearch之停用

 

 

 

 

 

 

Elasticsearch的中文分词器

  1、单字分词

    如:“我们是中国人”
    效果:“我”“们”“是”“中”“国”“人”

  2、二分法分词:按两个字进行切分。

    如:“我们是中国人”,效果:“我们”、“们是”、“是中”、“中国”、“国人”。

  3、词库分词:按某种算法构造词,然后去匹配已建好的词库集合,如果匹配到就切分出来成为词语。通常词库分词被认为是最理想的中文分词算法。

 

 

 

 

 

 

 

  后续博客

Elasticsearch之几个重要的分词器

posted @ 2017-02-24 20:47  大数据和AI躺过的坑  阅读(9660)  评论(0编辑  收藏  举报