摘要：依照什么切分句子——标点符号 阅读全文

摘要：一、为什么要规范化 在做信息检索的时候，一般都是精确匹配，如果不做规范化，难以做查询，比如用U.S.A去检索文本，结果文本里实际上存的是USA，那么实际上应该能查到的结果查不到了。 所以需要对所有内容做规范化，以实现检索的有效性。 二、怎么规范化 在去掉(*v*)ing时只有当(*v*)中含有元音时 阅读全文

摘要：一、如何定义一个单词 在统计一句话有多少个单词的时候，首要问题是如何定义一个单词，通常有三种情况： 以上三种在不同任务下有不同的处理方法。 二、统计什么信息 在统计时，我们统计如下信息： 一般如下表示： corpora：语料库，也就是文本的数据集 N：token的数目 V：单词表，也就是type的集 阅读全文

摘要：[^e^]：表示不是e也不是^ a^b： [^e^]：表示不是e也不是^ a^b： 阅读全文

摘要：这本书主要是基于Python和一个自然语言工具包（Natural Language Toolkit, NLTK)的开源库进行讲解 NLTK 介绍：NLTK是一个构建Python程序以处理人类语言数据的平台，它为50多个语料库和词汇资源（如WordNet）提供了易于使用的接口，以及一套用于分类、标记、 阅读全文