摘要：摘要：本文对中文全文检索系统中常用的索引项技术n元语法，字，n元语法，词进行了介绍并讨论了其各自的特点。然后着重介绍了以词为索引项的方法及全文检索中的汉字分词问题。最后给出了一种混合型最大匹配分词算法。 关键词：信息检索 中文信息处理 分词 The indexing term technology of Chinese information retrieval and implement of ... 阅读全文

摘要：一种面向搜索引擎的中文切分词方法 首先说一下搜索引擎切分词的产生的原因。 在进行全文检索时，首先将要检索的内容分割成较短的文字序列。然后生成在每个文字序列中所包含字符串的对应表（索引）。当输入检索语句后，也同样进行分割，与索引进行比较。也就是说，两者即使包含有同样的文字排列，但分割方法不同的话也不能正确检索。 文字的分割方法主要有两种，分别是 词语解析索引 和 文字索引 。 ... 阅读全文

摘要：在中文全文索引中为了建立反向索引需要对文档中的句子进行切分，相关理论请参见车东的介绍。 在lucene 1.3 以后的版本中支持中文建立索引了，他默认的切分规则是按一个个汉字分的。例子见后。 这里主要对比以下3种中文切分对lucene 索引的影响。 第一种：默认的单字切分； 第二种：二元切分（见车东的文章）； 第三种：按照词义切分（使用小叮咚的逆向最大切分法）。 上面3种切分的效果如下... 阅读全文

摘要：几个月之前,在网上找到了一个中文词库素材(几百K),当时便想写一个分词程序了.我对汉语分词没有什么研究,也就凭自己臆想而写.若有相关方面专家,还请多给意见.一、词库 词库大概有5万多词语(google能搜到,类似的词库都能用),我摘要如下: 地区 82重要 81新华社 80技术 80会议 80自己 79干部 78职工 78群众 77没有 ... 阅读全文