solr索引创建流程

 

solr索引创建流程：

 

　　分词组件Tokenizer

　　　　分词组件(Tokenizer)会做以下几件事情(这个过程称为：Tokenize)，处理得到的结果是词汇单元（Token）。

　　　　　　1、将文档分成一个一个单独的单词。

　　　　　　2、去除标点符号。

　　　　　　3、去除停词（stop word）。

 

 

 

 

 

 

 

　　语言处理组件

　　　　语言处理组件(linguistic processor)主要是对得到的词元(Token)做一些语言相关的处理。对于英语，语言处理组件(Linguistic Processor)一般做以下几点：　　

　　　　　　1、变为小写（Lowercase）

　　　　　　2、将单词缩减为词根形式

　　　　　　3、将单词转换为词根形式

 

 

 

 

 

　　索引组件（Indexer）

　　　　1、利用得到的词（Term）创建一个字典

　　　　2、对字段进行排序

　　　　3、合并相同的词和词出现的文档