随笔分类 - lucene

开源搜索库

摘要：SmartChineseAnalyzer：应用概率的知识，对中英文混合的文本进行分词操作，先将文本进行分句，再分别对每句话进行分词。这个分词器是基于隐马尔科夫模型而设计的，并使用了大量的语料进行中文词频的统计，同时包含了来自ICTCLAS1.0的统计数据作为词典。阅读全文

posted @ 2014-04-16 14:29 凤凰涅磐欲重生阅读(977) 评论(0) 推荐(0)