10 2016 档案

自然语言处理3.8——分割
摘要:分词是分割的一个更普遍的问题实例,这一节,我们要学习一下分割技术。 1、断句 在词级水平处理文本时候通常假定能够将文本划分成单个句子。 一些语料库提高了句子级别的访问。例如,我们可以计算布朗预料库中每个句子的平均词数。 在其他情况下,文本可能只是一个字符流。在将文本分词之前,需要将它分割成句子。NL 阅读全文

posted @ 2016-10-25 14:35 波比12 阅读(2257) 评论(0) 推荐(0)

NLTK中的词性
摘要:NOUN n,VERB v ,ADJ a, ADV r, ADJ_SAT s NOUN: [('s', ''), ('ses', 's'), ('ves', 'f'), ('xes', 'x'), ('zes', 'z'), ('ches', 'ch'), ('shes', 'sh'), ('men 阅读全文

posted @ 2016-10-24 13:01 波比12 阅读(1121) 评论(0) 推荐(0)

自然语言处理3.7——用正则表达式为文本分词
摘要:1、分词的简单方法: 在空格字符处分割文本是文本分词最简单的方法。考虑一下摘自《爱丽丝梦游仙境》中的文本。 可以使用raw.split()在空格符处分割原始文本。使用正则表达式能做同样的事情,匹配字符串中的所有空白符是远远不够的,因为这会导致结果中包含'\n'换行符。需要同时匹配任何数量的空格符、制 阅读全文

posted @ 2016-10-21 19:42 波比12 阅读(4989) 评论(0) 推荐(1)

自然语言处理3.6——规范化文本
摘要:在前面的例子中,在处理文本词汇前经常要将文本转化成小写,即(w.lower() for w in words).通过lower()将文本规范化为小写,这样一来,"The"和"the"的区别被忽略了。 我们常常进行更多的尝试,例如去掉文本中的所有词缀已经提取词干的任务等。下一步是确保结果形式是字典中确 阅读全文

posted @ 2016-10-21 19:03 波比12 阅读(1551) 评论(0) 推荐(0)

Python os模块
摘要:一、os模块概述 Python os模块包含普遍的操作系统功能。如果你希望你的程序能够与平台无关的话,这个模块是尤为重要的。(一语中的) 二、常用方法 1、os.name 输出字符串指示正在使用的平台。如果是window 则用'nt'表示,对于Linux/Unix用户,它是'posix'。 2、os 阅读全文

posted @ 2016-10-18 18:52 波比12 阅读(281) 评论(0) 推荐(0)

自然语言处理3.5——正则表达式的有益应用
摘要:1、提出字符串 通过re.findall()方法找出所有(无重叠)匹配指定正则表达式的字符串。例如找出一个词的所有元音字符,并计数 在例如找出文本中两个或者两个以上的原因序列,并确定它们的相对频率 2、在字符串上做更多的事情 英文文本是高度冗余的,忽略掉词内部的元音仍然可以轻松的阅读,有些时候这很明 阅读全文

posted @ 2016-10-13 22:24 波比12 阅读(1437) 评论(0) 推荐(0)

自然语言处理3.4——使用正则表达式检测词组搭配
摘要:许多语言处理任务都涉及模式匹配。以前我们使用‘stsrtswith(str)’或者‘endswith(str)’来寻找特定的单词。但是下面引入正则表达式,正则表达式是一个强大的模块,他不属于哪一种特定的语言,是一个强大的语言处理工具。 在Python中使用正则表达式需要使用import re来导入r 阅读全文

posted @ 2016-10-12 22:02 波比12 阅读(3977) 评论(0) 推荐(0)

自然语言处理3.3——使用Unicode进行文字处理
摘要:全世界有多种语言,经常需要应用程序处理不同的语言和字符集。下面将介绍如何利用Unicode处理使用非ASCII字符集文字。 1.什么是Unicode Unicode支持一百万种以上的字符,每一个字符分配一个编号,称为编码点。在Python中编码点写作\uXXXX,其中XXXX是四位十六进制数。 在一 阅读全文

posted @ 2016-10-11 22:20 波比12 阅读(820) 评论(0) 推荐(0)

自然语言处理3.1——从网络和硬盘访问文本
摘要:文本的最重要来源无疑是网络。探索现成的文本集合是很方便的,然而每个人都有自己的文本来源,需要学习如何去访问他们。 首先,我们要学习从网络和硬盘访问文本。 1.电子书 NLTk语料库集合中存有古腾堡项目的一小部分样例文本,如果你对古腾堡项目其他的文本感兴趣,可以在http://www.gutenber 阅读全文

posted @ 2016-10-10 22:20 波比12 阅读(745) 评论(0) 推荐(0)

导航