2013年12月16日
转：Lucene的CJKAnalyzer分析器
摘要： Lucene的CJKAnalyzer分析器。CJKAnalyzer分析器的思想：对中文汉字，每两个字作为一个词条，例如A，B，C，D是四个中文汉字，使用CJKAnalyzer分析器分词后一共得到三个词条如下：AB，BC，CD。其实，CJKAnalyzer分析器在对中文分词方面比StandardAnalyzer分析器要好一点。因为根据中文的习惯，包括搜索的时候键入关键字的习惯，中文的词(大于一个汉字)比单个汉字的频率应该高一些。但是，在设置相同的过滤词条文本以后，CJKAnalyzer分析器的缺点就是产生了冗余会比较大，相对于StandardAnalyzer分析器来说。使用StandardAna 阅读全文
posted @ 2013-12-16 11:24 东嘉CEO 阅读(2844) 评论(0) 推荐(0)