15 设置系统分词器

  1. 默认:标准分词器standard,会把一句话,按英文空格分词。
standard tokenizer:以单词边界进行切分
standard token filter:什么都不做
lowercase token filter:将所有字母转换为小写
stop token filer(默认不移除):移除停用词,比如a the it等等
2. 自定义分词器:
测试自定义分词器:
 
 
posted @ 2019-06-16 20:41  Snow~Forever  阅读(232)  评论(0编辑  收藏  举报