《python数据分析（第2版）-阿曼多.凡丹戈》读书笔记第9章-分析文本数据和社交媒体

python数据分析个人学习读书笔记-目录索引

第9章分析文本数据和社交媒体

 　　在前几章中，我们着重讨论了结构化数据的分析，主要涉及列表格式的数据。实际上，跟结构化数据一样，纯文本也是最常见的格式之一。文本分析需要用到词频分布分析、模式识别、标注、链接和关联分析（link and association analysis）、情感分析和可视化等。这里将借助Python自然语言工具包（The Python Natural Language Toolkit，NLTK）来分析文本。NLTK自身带有一个文本样本集，这个样本集名为corpora。同时，scikitlearn程序库也提供了许多文本分析工具，本章也会对这些工具进行简要的介绍。

　　此外，在本章中还会举例说明网络分析。本章涉及的主题如下。

• 安装NLTK
• NLTK简介
• 滤除停用字、姓名和数字
• 词袋模型
• 词频分析
• 朴素贝叶斯分类
• 情感分析
• 创建词云
• 社交网络分析

9.1NLTK

　　安装NLTK:

pip3 install nltk scikit-learn

 

9.2NLTK简介

 　　NLTK是一个用来分析自然语言文本（如英文句子）的Python应用程序接口。NLTK起源于2001年，最初设计是用来进行教学的。

　　虽然我们在9.1节安装了NLTK，但还不够：还需要下载NLTK语料库。需要注意的是，这里的下载量相对较大（约1.8 GB），但是只需要下载一次。除非我们确切地知道自己需要哪种语料库，否则最好下载所有可用的语料库。从Python shell下载语料库的命令如下。

$ python3
>>> import nltk
>>> nltk.download()

　　这时，会出现一个GUI应用程序，你可以指定要下载的文件以及放到何处，如图9-1所示。

 

　　如果是NLTK新手，最方便的方法就是选择默认选项并下载所有内容。在本章中，我们将需要用到停用词、电影评论、名字和古腾堡语料库。所以，我们鼓励读者根据ch-09.ipynb文件中的代码来学习下列部分。

 　　 Tips：如果安装NLTK方面有疑惑，这篇文章或许对你有帮助。《数据分析实战-托马兹.卓巴斯》读书笔记第9章--自然语言处理NLTK（分析文本、词性标注、主题抽取、文本数据分类）

 

9.3滤除停用字、姓名和数字

 　　进行文本分析时，我们经常需要对停用字（Stopwords）进行剔除。这里所谓的停用字，就是那些经常见、但是没有多大信息含量的词。NLTK为很多语种都提供了停用字语料库。下面加载英语停用字语料并输出部分单词。

sw = set(nltk.corpus.stopwords.words('english'))
print("Stop words:", list(sw)[:7])

　　下面是输出的部分常用字。

Stop words: ['yours', 'off', 'own', 'so', "won't", 'all', 'doing']

　　请注意，这个语料库中的所有单词都是小写的。

　　此外，NLTK还提供了一个Gutenberg语料库。Gutenberg项目是一个数字图书馆计划，供人们在互联网上阅读图书。

　　下面加载Gutenberg语料库并输出部分文件的名称。

gb = nltk.corpus.gutenberg
print("Gutenberg files:\n", gb.fileids()[-5:])

　　下面是输出的某些书籍的名称，其中有些你可能比较熟悉。

Gutenberg files:
 ['milton-paradise.txt', 'shakespeare-caesar.txt', 'shakespeare-hamlet.txt', 'shakespeare-macbeth.txt', 'whitman-leaves.txt']

　　现在，从milton-paradise.txt文件中提取前两句内容，供下面过滤使用。下面给出具体代码。

text_sent = gb.sents("milton-paradise.txt")[:2]
print("Unfiltered:", text_sent)

　　下面是输出的句子。

Unfiltered: [['[', 'Paradise', 'Lost', 'by', 'John', 'Milton', '1667', ']'], ['Book', 'I']]

　　现在，过滤掉下面的停用字。

for sent in text_sent:
    filtered = [w for w in sent if w.lower() not in sw]
    print("Filtered:\n", filtered)

　　对于第一句，过滤后变成以下格式。

Filtered:
 ['[', 'Paradise', 'Lost', 'John', 'Milton', '1667', ']']

　　注意，与之前相比，单词by已经被过滤掉了，因为它出现在停用字语料库中了。有时，我们希望将文本中的数字和姓名也删掉。我们可以根据词性（Part of Speech，POS）标签来删除某些单词。在这个标注方案中，数字对应着基数（Cardinal Number，CD）标签。

　　姓名对应着单数形式的专有名词（the proper noun singular，NNP）标签。标注是基于启发式方法进行处理的，当然，这不可能非常精确。这个主题过于宏大，恐怕需要整本书来进行描述，详见前言部分。在过滤文本时，我们可以使用pos_tag()函数获取文本内所含的标签，具体如下。

    tagged = nltk.pos_tag(filtered)
    print("Tagged:\n", tagged)

　　对于我们的文本，将得到如下各种标签。

Tagged:
 [('[', 'JJ'), ('Paradise', 'NNP'), ('Lost', 'NNP'), ('John', 'NNP'), ('Milton', 'NNP'), ('1667', 'CD'), (']', 'NN')]

　　上面的pos_tag()函数将返回一个元组列表，其中各元组的第二个元素就是文本对应的标签。可见，一些单词虽然被标注为NNP，但是它们并不是。这里所谓的启发式方法，就是如果单词的第一个字母是大写的，那么就将其标注为NNP。如果将上面的文本全部转换为小写，那么就会得到不同的结果，这个留给读者自行练习。实际上，我们很容易就能利用NNP和CD标签来删除列表中的单词，代码如下。

    words= []
    for word in tagged:
        if word[1] != 'NNP' and word[1] != 'CD':
           words.append(word[0]) 

    print("Words:\n",words)

　　下列代码摘自本书代码包中的ch-09.ipynb文件。

import nltk
from nltk import data
data.path.append(r'D:\download\nltk_data') # 这里的路径需要换成自己数据文件下载的路径
for sent in text_sent:
    filtered = [w for w in sent if w.lower() not in sw]
    print("Filtered:\n", filtered)
    tagged = nltk.pos_tag(filtered)
    print("Tagged:\n", tagged)

    words= []
    for word in tagged:
        if word[1] != 'NNP' and word[1] != 'CD':
           words.append(word[0]) 

    print("Words:\n",words)

 

9.4词袋模型

 　　所谓词袋模型，即它认为一篇文档是由其中的词构成的一个集合（即袋子），词与词之间没有顺序以及先后的关系。对于文档中的每个单词，我们都要计算它出现的次数，即单词计数（word counts）。据此，我们可以进行类似垃圾邮件识别之类的统计分析。

　　如果有一批文档，那么每个唯一字（unique word）都可以视为语料库中的一个特征。这里所谓的“特征”，可以理解为参数或者变量。利用所有的单词计数，我们可以为每个文档建立一个特征向量这里的“向量”一词借用的是其数学含义。如果一个单词存在于语料库中，但是不存在于文档中，那么这个特征的值就为0。令人惊讶的是，NLTK至今尚未提供可以方便创建特征向量的实用程序。不过，我们可以借用Python机器学习库scikit-learn中的CountVectorizer类来轻松创建特征向量。第10章将对scikit-learn进行更详尽的介绍。

　　下面从NLTK的Gutenberg语料库加载两个文本文档，代码如下。

hamlet = gb.raw("shakespeare-hamlet.txt")
macbeth = gb.raw("shakespeare-macbeth.txt")

　　现在我们去掉英语停用词并创建特征向量，代码如下。

cv = sk.feature_extraction.text.CountVectorizer(stop_words='english')
print("Feature vector:\n", cv.fit_transform([hamlet, macbeth]).toarray())

　　下面是两个文档对应的特征向量。

Feature vector:
 [[ 1  0  1 ... 14  0  1]
 [ 0  1  0 ...  1  1  0]]

　　下面，我们输出部分特征（唯一字）值。

print("Features:\n", cv.get_feature_names()[:5])

　　这些特征是按字母顺序排序的。

Features:
 ['1599', '1603', 'abhominably', 'abhorred', 'abide']

　　下列代码摘自本书代码包中的ch-09.ipynb文件。

import nltk
import sklearn as sk
from nltk import data
data.path.append(r'D:\download\nltk_data') # 这里的路径需要换成自己数据文件下载的路径

hamlet = gb.raw(“shakespeare-hamlet.txt”)
macbeth = gb.raw(“shakespeare-macbeth.txt”)

cv = sk.feature_extraction.text.CountVectorizer(stop_words=’english’)

print(“Feature vector:\n”, cv.fit_transform([hamlet, macbeth]).toarray())

print(“Features:\n”, cv.get_feature_names()[:5])

 

9.5词频分析

 　　NLTK提供的FreqDist类可以用来将单词封装成字典并计算给定单词列表中各个单词出现的次数。下面，我们来加载Gutenberg项目中莎士比亚的Julius Caesar中的文本。

　　首先，把停用词和标点符号剔除掉，代码如下。

punctuation = set(string.punctuation)
filtered = [w.lower() for w in words if w.lower() not in sw and w.lower() not in punctuation]

　　然后，创建一个FreqDist对象并输出频率最高的键和值，代码如下。

fd = nltk.FreqDist(filtered)
print("Words", list(fd.keys())[:5])
print("Counts", list(fd.values())[:5])

　　输出的键和值如下。

Words ['tragedie', 'julius', 'caesar', 'william', 'shakespeare']
Counts [2, 1, 190, 1, 1]

　　很明显，这个列表中的第一个字并非英语单词，因此需要添加一种启发式搜索（Heuristic）方法，只选择最少含有两个字符的单词。对于NLTK提供的FreqDist类，我们既可以使用类似于字典的访问方法，也可以使用更便利的其他方法。下面，我们要提取最常出现的单词以及对应的出现次数。

print("Max", fd.max())
print("Count", fd['d'])

　　对应下面的结果，你肯定不会感到吃惊。

Max caesar
Count 0

　　目前，我们只是针对单个单词构成的词汇进行了分析，不过可以推而广之，将分析扩展到含有两个单词和3个单词的词汇上，对于后面这两种，我们分别称之为双字词和三字词。对于这两种分析，分别有对应的函数，即bigrams()函数和trigrams()函数。现在，我们再次进行文本分析，不过，这次针对的是双字词。

fd = nltk.FreqDist(nltk.bigrams(filtered))
print("Bigrams", list(fd.keys())[:5])
print("Counts", list(fd.values())[:5])
print("Bigram Max", fd.max())
print("Bigram count", fd[('let', 'vs')])

　　结果如下。

Bigrams [('tragedie', 'julius'), ('julius', 'caesar'), ('caesar', 'william'), ('william', 'shakespeare'), ('shakespeare', '1599')]
Counts [1, 1, 1, 1, 1]
Bigram Max ('let', 'vs')
Bigram count 16

　　下列代码摘自本书代码包中的ch-09.ipynb文件。

import nltk
import string
from nltk import data
data.path.append(r'D:\download\nltk_data') # 这里的路径需要换成自己数据文件下载的路径


gb = nltk.corpus.gutenberg
words = gb.words("shakespeare-caesar.txt")

sw = set(nltk.corpus.stopwords.words('english'))
punctuation = set(string.punctuation)
filtered = [w.lower() for w in words if w.lower() not in sw and w.lower() not in punctuation]
fd = nltk.FreqDist(filtered)
print("Words", list(fd.keys())[:5])
print("Counts", list(fd.values())[:5])
print("Max", fd.max())
print("Count", fd['d'])

fd = nltk.FreqDist(nltk.bigrams(filtered))
print("Bigrams", list(fd.keys())[:5])
print("Counts", list(fd.values())[:5])
print("Bigram Max", fd.max())
print("Bigram count", fd[('let', 'vs')])

 

9.6朴素贝叶斯分类

 　　分类算法是机器学习算法中的一种，用来判断给定数据项所属的类别，即种类或类型。比如，我们可以根据某些特征来分辨一部电影属于哪个流派等。这样，流派就是我们要预测的类别。第10章还会对机器学习做进一步介绍。此刻，我们要讨论的是一个名为朴素贝叶斯分类的流行算法，它常常用于进行文本文档的分析。

　　朴素贝叶斯分类是一个概率算法，它基于概率与数理统计中的贝叶斯定理。贝叶斯定理给出了利用新证据修正某事件发生的概率的方法。例如，假设一个袋子里装有一些巧克力和其他物品，但是这些我们没法看到。这时，我们可以用P(D)表示从袋子中掏出一块深色巧克力的概率。同时，我们用P©代表掏出一块巧克力的概率。当然，因为全概率是1，所以P(D)和P©的最大取值也只能是1。贝叶斯定理指出，后验概率与先验概率和相似度的乘积成正比，具体公式如下。

　　P(D|C)

　　在上面的公式中，P(D|C)是在事件C发生的情况下事件D发生的可能性。在我们还没有掏出任何物品之前，P(D) = 0.5，因为我们尚未获得任何信息。实际应用这个公式时，我们必须知道P(C|D)和P(C)，或者能够间接求出这两个概率。

　　朴素贝叶斯分类之所以称为朴素，是因为它简单假设特征之间是相互独立的。实践中，朴素贝叶斯分类的效果通常都会很好，说明这个假设得到了一定程度的保证。近来，人们发现这个假设之所以有意义，理论上是有依据的。不过，由于机器学习领域发展迅猛，现在已经发明了多种效果更佳的算法。

　　下面，我们将利用停用词或标点符号对单词进行分类。这里，我们将字长作为一个特征，因为停用词和标点符号往往都比较短。

　　为此，我们需要定义如下所示的函数。

def word_features(word):
   return {'len': len(word)}

def isStopword(word):
    return word in sw or word in punctuation

　　下面，我们对取自古登堡项目的shakespeare-caesar.txt中的单词进行标注，以区分是否为停用词，代码如下。

labeled_words = ([(word.lower(), isStopword(word.lower())) for 
word in words])
random.seed(42)
random.shuffle(labeled_words)
print(labeled_words[:5])

　　下面显示了5个标注后的单词。

[('i', True), ('is', True), ('in', True), ('he', True), ('ambitious', False)]

　　对于每个单词，我们可以求出其长度。

featuresets = [(word_features(n), word) for (n, word) in 
labeled_words]

　　前几章我们介绍过拟合以及通过训练数据集和测试数据集的交叉验证来避免这种情况的方法。下面我们将要训练一个朴素贝叶斯分类器，其中90%的单词用于训练，剩下的10%用于测试。首先，创建训练数据集和测试数据集并针对数据展开训练，代码如下。

cutoff = int(.9 * len(featuresets))
train_set, test_set = featuresets[:cutoff], featuresets[cutoff:]
classifier = nltk.NaiveBayesClassifier.train(train_set)

　　现在，我们拿出一些单词，检查该分类器的效果。

classifier = nltk.NaiveBayesClassifier.train(train_set)
print("'behold' class", classifier.classify(word_features('behold')))
print("'the' class", classifier.classify(word_features('the')))

　　幸运的是，这些单词的分类完全正确：

'behold' class False
'the' class True

　　然后，根据测试数据集来计算分类器的准确性，代码如下。

print("Accuracy", nltk.classify.accuracy(classifier, test_set))

　　这个分类器的准确度非常高，几乎达到85%。下面来看哪些特征的贡献最大。

print(classifier.show_most_informative_features(5))

　　结果显示如图9-2所示，在分类过程中字长的作用最大。

 

　　下列代码摘自本书代码包中的ch-09.ipynb文件。

mport nltk
from nltk import data
data.path.append(r'D:\download\nltk_data') # 这里的路径需要换成自己数据文件下载的路径
import string
import random

sw = set(nltk.corpus.stopwords.words('english'))
punctuation = set(string.punctuation)

def word_features(word):
   return {'len': len(word)}

def isStopword(word):
    return word in sw or word in punctuation
gb = nltk.corpus.gutenberg
words = gb.words("shakespeare-caesar.txt")

labeled_words = ([(word.lower(), isStopword(word.lower())) for 
word in words])
random.seed(42)
random.shuffle(labeled_words)
print(labeled_words[:5])

featuresets = [(word_features(n), word) for (n, word) in 
labeled_words]
cutoff = int(.9 * len(featuresets))
train_set, test_set = featuresets[:cutoff], featuresets[cutoff:]
classifier = nltk.NaiveBayesClassifier.train(train_set)
print("'behold' class", classifier.classify(word_features('behold')))
print("'the' class", classifier.classify(word_features('the')))

print("Accuracy", nltk.classify.accuracy(classifier, test_set))
print(classifier.show_most_informative_features(5))

 

9.7情感分析

　　随着社交媒体、产品评论网站及论坛的兴起，用来自动抽取意见的观点挖掘或情感分析也随之变成一个炙手可热的新研究领域。通常情况下，我们希望知道某个意见的性质是正面的、中立的还是负面的。当然，这种类型的分类我们前面就曾遇到过。也就是说，我们有大量的分类算法可用。还有一个方法就是，通过半自动的（经过某些人工编辑）方法来编制一个单词列表，每个单词赋予一个情感分，即一个数值（如单词“good”的情感分为5，而单词“bad”的情感分为−5）。如果有了这样一张表，就可以给文本文档中的所有单词打分，从而得出一个情感总分。当然，类别的数量可以大于3，如五星级评级方案。

　　我们会应用朴素贝叶斯分类方法对NLTK的影评语料库进行分析，从而将影评分为正面的或负面的评价。首先，加载影评语料库并过滤掉停用词和标点符号。这些步骤在此略过，因为之前就介绍过了。也可以考虑更精细的过滤方案，不过，需要注意的是，如果过滤得过火了，就会影响准确性。下面通过categories()方法对影评文档进行标注，代码如下。

labeled_docs = [(list(movie_reviews.words(fid)), cat)
        for cat in movie_reviews.categories()
        for fid in movie_reviews.fileids(cat)]

　完整的语料库拥有数以万计的唯一字，这些唯一字都可以用作特征，不过，这样做会极大地影响效率。这里，我们选用词频最高的前5%的单词作为特征。

words = FreqDist(filtered)
N = int(.05 * len(words.keys()))
word_features = list(words.keys())[:N]

　　对于每个文档，可以通过一些方法来提取特征，其中包括以下方法：

• 检查给定文档是否含有某个单词；
• 求出某个单词在给定文档中出现的次数；
• 正则化单词计数，使得正则化后的最大单词计数小于或等于1；
• 将上面的数值加1，然后取对数。这里之所以加1，是为了防止对0取对数；
• 利用上面的数值组成一个度量指标。

　　俗话说“条条大路通罗马”，不过，这其中肯定不乏有些道路能够让我们更安全，也能更快地到达罗马。下面定义一个函数，该函数会使用原始单词计数来作为度量指标，代码为如下。

def doc_features(doc):
    doc_words = FreqDist(w for w in doc if not isStopWord(w))
    features = {}
    for word in word_features:
        features['count (%s)' % word] = (doc_words.get(word, 0))
    return features

　　现在，可以训练我们的分类器了，具体方法与前面的例子相似。这里准确性达到78%，这个成绩已经相当不错了，非常接近情感分析成绩的上限。因为据研究发现，即便是人类，也无法对给定文档的表达出的感情的看法达成一致。因此，要想让情感分析软件获得满分是不可能的事情。

下面的图9-3给出包含信息量最大的特征。

　　如果仔细检查这个列表，我们很容易发现有一些褒义词，如“wonderful（妙不可言的）”和“outstanding（杰出的）”。而单词“bad（恶劣的）”“stupid（愚蠢的）”和“boring（无趣的）”则明显是一些贬义词。如果有兴趣，读者也可以分析其他的那些特征，这将作为一个作业留给读者自己完成。以下代码摘自本书代码包中的sentiment.py文件。

import random
from nltk import data
data.path.append(r'D:\download\nltk_data') # 这里的路径需要换成自己数据文件下载的路径
from nltk.corpus import movie_reviews
from nltk.corpus import stopwords
from nltk import FreqDist
from nltk import NaiveBayesClassifier
from nltk.classify import accuracy
import string

labeled_docs = [(list(movie_reviews.words(fid)), cat)
        for cat in movie_reviews.categories()
        for fid in movie_reviews.fileids(cat)]
random.seed(42)
random.shuffle(labeled_docs)

review_words = movie_reviews.words()
print("# Review Words", len(review_words))

sw = set(stopwords.words('english'))
punctuation = set(string.punctuation)

def isStopWord(word):
    return word in sw or word in punctuation

filtered = [w.lower() for w in review_words if not isStopWord(w.lower())]
print("# After filter", len(filtered))
words = FreqDist(filtered)
N = int(.05 * len(words.keys()))
word_features = list(words.keys())[:N]

def doc_features(doc):
    doc_words = FreqDist(w for w in doc if not isStopWord(w))
    features = {}
    for word in word_features:
        features['count (%s)' % word] = (doc_words.get(word, 0))
    return features

featuresets = [(doc_features(d), c) for (d,c) in labeled_docs]
train_set, test_set = featuresets[200:], featuresets[:200]
classifier = NaiveBayesClassifier.train(train_set)
print("Accuracy", accuracy(classifier, test_set))

print(classifier.show_most_informative_features())

 

9.8创建词云

 　　阅读本书前，我们也许已在Wordle或其他地方见过词云了；如果没见过也不要紧，因为可以在本章看个够了。虽然Python有两个程序库都可以用来生成词云，但是它们生成词云的效果尚不能与Wordle网站的效果相媲美。所以，我们不妨利用Wordle网站的页面来创建词云。利用Wordle生成词云时，需要提供一个单词列表及其对应的权值，具体格式如下。

Word1 : weight
Word2 : weight

　　现在，对前面例子中的代码稍作修改，让它输出这个字表。这里，我们将使用词频作为度量指标，选取词频排名靠前的单词。实际上，这里不需要任何新的代码，具体内容可以参考本书代码包中的ch-09.ipynb文件。

from nltk import data
data.path.append(r'D:\download\nltk_data') # 这里的路径需要换成自己数据文件下载的路径
from nltk.corpus import movie_reviews
from nltk.corpus import stopwords
from nltk import FreqDist
import string

sw = set(stopwords.words('english'))
punctuation = set(string.punctuation)

def isStopWord(word):
    return word in sw or word in punctuation
review_words = movie_reviews.words()
filtered = [w.lower() for w in review_words if not isStopWord(w.lower())]

words = FreqDist(filtered)
N = int(.01 * len(words.keys()))
tags = list(words.keys())[:N]

for tag in tags:
    print(tag, ':', words[tag])

　　将上面代码的输出结果复制粘贴到上面提到的Wordle页面，就能得到如图9-4所示的词云了。

plot : 1513
two : 1911
teen : 151
couples : 27
go : 1113
church : 69
party : 183
drink : 32
drive : 105
get : 1949
accident : 104
one : 5852
guys : 268
dies : 104
girlfriend : 218
continues : 88
see : 1749
life : 1586
nightmares : 26
deal : 219
watch : 603
movie : 5771
sorta : 10
find : 782
critique : 61
mind : 451
fuck : 17
generation : 96
touches : 55
cool : 208
idea : 386
presents : 78
bad : 1395
package : 30
makes : 992
review : 295
even : 2565
harder : 33
write : 119
since : 768
generally : 103
applaud : 10
films : 1536
attempt : 263
break : 175
mold : 14
mess : 159
head : 387
lost : 409
highway : 28
memento : 10
good : 2411
ways : 189
making : 602
types : 48
folks : 74
snag : 2
correctly : 17
seem : 574
taken : 225
pretty : 528
neat : 32
concept : 114
executed : 46
terribly : 58
problems : 293
well : 1906
main : 399
problem : 396
simply : 428
jumbled : 12
starts : 316
normal : 111
downshifts : 2
fantasy : 97
world : 1037
audience : 914
member : 126
going : 888
dreams : 131
characters : 1859
coming : 275
back : 1060
dead : 418
others : 288
look : 835
like : 3690
strange : 185
apparitions : 5
disappearances : 3
looooot : 1
chase : 159
scenes : 1274
tons : 21
weird : 100
things : 852
happen : 220
explained : 70
personally : 44
trying : 566
unravel : 9
film : 9517
every : 947
give : 561
clue : 45
kind : 559
fed : 29
biggest : 149
obviously : 228
got : 470
big : 1064
secret : 184
hide : 40
seems : 1033
want : 560
completely : 440
final : 380
five : 284
minutes : 644
make : 1642
entertaining : 314
thrilling : 46
engaging : 79
meantime : 19
really : 1558
sad : 108
part : 714
arrow : 29
dig : 19
flicks : 81
actually : 837
figured : 29
half : 535
way : 1693
point : 685
strangeness : 6
start : 312
little : 1501
bit : 568
sense : 555
still : 1047
guess : 226
bottom : 93
line : 435
movies : 1206
always : 586
sure : 523
given : 502
password : 4
enter : 68
understanding : 57
mean : 242
showing : 147
melissa : 12
sagemiller : 8
running : 323
away : 655
visions : 31
20 : 98
throughout : 302
plain : 82
lazy : 34
okay : 125
people : 1455
chasing : 43
know : 1217
need : 316
giving : 214
us : 1073
different : 430
offering : 38
insight : 54
apparently : 209
studio : 163
took : 164
director : 1237
chopped : 5
shows : 410
might : 635
decent : 164
somewhere : 127
suits : 45
decided : 104
turning : 80
music : 480
video : 322
edge : 104
would : 2109
actors : 706
although : 795
wes : 50
bentley : 9
seemed : 212
playing : 362
exact : 64
character : 2020
american : 559
beauty : 135
new : 1292
neighborhood : 21
kudos : 21
holds : 90
entire : 408
feeling : 225
unraveling : 2
overall : 160
stick : 69
entertain : 53
confusing : 94
rarely : 102
excites : 2
feels : 216
redundant : 14
runtime : 8
despite : 352
ending : 423
explanation : 69
craziness : 4
came : 185
oh : 216
horror : 473
slasher : 84
flick : 196
packaged : 3
someone : 401
assuming : 15
genre : 268
hot : 127
kids : 328
also : 1967
wrapped : 39
production : 300
years : 846
ago : 199
sitting : 93
shelves : 13
ever : 776
whatever : 136
skip : 45
joblo : 30
nightmare : 60
elm : 14
street : 140
3 : 222
7 : 115
10 : 449
blair : 98
witch : 108
2 : 439
crow : 55
9 : 75
salvation : 14
4 : 190
stir : 27
echoes : 31
8 : 140
happy : 215
bastard : 46
quick : 139
damn : 88
y2k : 4
bug : 81
starring : 184
jamie : 42
lee : 266
curtis : 37
another : 1121
baldwin : 89
brother : 268
william : 206
time : 2411
story : 2169
regarding : 31
crew : 214
tugboat : 2
comes : 733
across : 221
deserted : 21
russian : 68
tech : 29
ship : 264
kick : 52
power : 238
within : 227
gore : 110
bringing : 81
action : 1172
sequences : 293
virus : 77
empty : 67
flash : 62
substance : 73
middle : 222
nowhere : 98
origin : 8
pink : 24
flashy : 41
thing : 809
hit : 285
mir : 7
course : 648
donald : 38
sutherland : 39
stumbling : 15
around : 903
drunkenly : 2
hey : 70
let : 425
robots : 27
acting : 695
average : 119
likes : 99
likely : 164
work : 1020
halloween : 60
h20 : 7
wasted : 118
real : 915
star : 761
stan : 12
winston : 4
robot : 45
design : 87
schnazzy : 1
cgi : 50
occasional : 62
shot : 348
picking : 28
brain : 93
body : 269
parts : 207
turn : 363
otherwise : 156
much : 2049
sunken : 4
jaded : 12
viewer : 218
thankful : 7
invention : 11
timex : 1
indiglo : 1
based : 389
late : 238
1960 : 22
television : 220
show : 741
name : 392
mod : 17
squad : 40
tells : 255
tale : 216
three : 695
reformed : 7
criminals : 35
employ : 16
police : 241
undercover : 28
however : 989
wrong : 385
evidence : 66
gets : 865
stolen : 58
immediately : 163
suspicion : 19
ads : 33
cuts : 60
claire : 70
dane : 5
nice : 344
hair : 109
cute : 134
outfits : 21
car : 321
chases : 50
stuff : 208
blowing : 26
sounds : 133
first : 1836
fifteen : 64
quickly : 255
becomes : 526
apparent : 100
certainly : 361
slick : 39
looking : 501
complete : 197
costumes : 71
enough : 910
best : 1333
described : 57
cross : 111
hour : 355
long : 836
cop : 208
stretched : 19

     https://wordart.com/create

　　仔细研究这个词云，会发现它远非完美，还有很大的改进空间。因此，我们不妨做进一步的尝试。

　　进一步过滤：我们应当剔除包含数字符号和姓名的那些单词。这时，可以借助NLTK的names语料库。此外，对于在所有语料库中仅出现一次的那些单词，我们也可以置之不理，因为它们不大可能提供足够有价值的信息。

　　使用更好的度量指标：词频和逆文档频率（The Term Frequency-Inverse Document Frequency，TF-IDF）看起来是一个不错的选择。

　　度量指标TF-IDF可以通过对语料库中的单词进行排名并据此赋予这些单词相应的权重。这个权重的值与单词在特定文档中出现的次数即词频成正比。同时，它还与语料库中含有该单词的文档数量成反比，即逆文档频率。TF-IDF的值为词频和逆文档频率之积。如果需要自己动手实现TF-IDF，那么还必须考虑对数标定处理。幸运的是，实际上我们根本无需考虑这些实现方面的细节，因为scikit-learn已经为我们准备好了一个TfidfVectorizer类，它有效地实现了TF-IDF。该类能够生成一个稀疏的SciPy矩阵，用术语来说就是一个词条-文档矩阵，这个矩阵存放的是单词和文档的每种可能组合的TF-IDF值。因此，对于一个含有2 000个文档和25 000个不重复的词的语料库，可以得到一个2 000×25 000的矩阵。由于大部分矩阵值都为0，我们将它作为一个稀疏矩阵来处理比较省劲。对每个单词来说，其最终的排名权重可以通过对其TF-IDF值求和来得到。

下面我们通过isalpha()方法和姓名语料库来改善过滤效果，代码如下。

all_names = set([name.lower() for name in names.words()])

def isStopWord(word):
    return (word in sw or word in punctuation) or not word.isalpha() or word in all_names

　　下面创建一个NLTK的FreqDist类，从而过滤掉那些只出现一次的单词。对于TfidfVectorizer类，需要为其提供一个字符串列表来指出语料库中的各个文档。

　　下面创建这个列表，代码如下。

for fid in movie_reviews.fileids():
    texts.append(" ".join([w.lower() for w in movie_reviews.words(fid) if not isStopWord(w.lower()) and words[w.lower()]

　　创建向量化程序，为了保险起见，令其忽略停用词。

vectorizer = TfidfVectorizer(stop_words='english')

　　创建稀疏的词条-文档矩阵。

matrix = vectorizer.fit_transform(texts)

　　为每个单词的TF-IDF值求和并将结果存放到NumPy数组中。

sums = np.array(matrix.sum(axis=0)).ravel()

　　下面通过单词的排名权值来创建一个Pandas DataFrame并进行相应的排序，代码如下。

ranks = []

for word, val in zip(vectorizer.get_feature_names(), sums):
    ranks.append((word, val))

df = pd.DataFrame(ranks, columns=["term", "tfidf"])
df = df.sort_values(['tfidf'])
print(df.head())

　　排名最低的值将被输出，同时供将来过滤用。

                 term    tfidf
19963  superintendent  0.03035
8736            greys  0.03035
14010           ology  0.03035
2406          briefer  0.03035
2791      cannibalize  0.03035

matter : 10.160156320157853
review : 10.162109208095815
seeing : 10.193962242951153
jokes : 10.195055387739588
past : 10.229789978743266
romantic : 10.270767948140588
directed : 10.27679275085064
start : 10.302358509215921
finally : 10.315385095902199
video : 10.356897657857315
despite : 10.36356758711268
ship : 10.370281211670585
beautiful : 10.415601266078719
scream : 10.421970655899635
sequence : 10.461140540373234
supposed : 10.473608248283002
shot : 10.497822532176006
face : 10.520647846526677
turn : 10.535466043788666
lives : 10.536265259335323
later : 10.536596993112912
tell : 10.54178804022045
camera : 10.580870634146848
works : 10.585001927065935
children : 10.59229934724306
live : 10.658879764040353
daughter : 10.685408819519905
earth : 10.6855987888017
mr : 10.711280266859085
car : 10.715492238654587
believe : 10.724994487616465
maybe : 10.738295943695265
person : 10.766043701757003
book : 10.799070874951035
worst : 10.801808893863994
hand : 10.815936702218032
named : 10.818013961831461
game : 10.86383795127332
fight : 10.865544776692566
use : 10.88431817114859
used : 10.955534955009918
killer : 11.000641030461054
certainly : 11.001525429842374
begins : 11.070728771014815
perfect : 11.096242361915083
relationship : 11.102758849863765
said : 11.108251601369561
nice : 11.124424984182713
days : 11.138293311572346
kids : 11.181482360800292
called : 11.192445668887236
run : 11.198723318188565
playing : 11.216003589219902
final : 11.223074577571513
tries : 11.242871986273729
unfortunately : 11.295825206128804
group : 11.326924605147562
comic : 11.389992817954504
left : 11.438340356187926
entire : 11.444592282847251
idea : 11.461929302207174
based : 11.487214286939588
head : 11.516296149111216
wrong : 11.562368605644979
second : 11.585319233830582
summer : 11.586686728126798
shows : 11.63522507695588
main : 11.660671883754478
soon : 11.711290550319069
true : 11.754181091867876
turns : 11.821623440558202
getting : 11.874446133551853
human : 11.899923970603947
problem : 11.99620702280271
written : 12.006014424193982
hour : 12.018041625879004
different : 12.151447465665578
boy : 12.202291415418031
performances : 12.239403934569973
house : 12.251961733491308
simply : 12.29153134772739
war : 12.297910070957098
mind : 12.324864356668593
small : 12.327723933187466
especially : 12.352783302524191
rest : 12.359092724325766
tv : 12.368538157058103
lost : 12.399034233379663
completely : 12.435026821722477
looks : 12.4500832891327
humor : 12.480741394166033
line : 12.531463602753462
reason : 12.549615155979115
dead : 12.550701937661323
friend : 12.554066106444134
let : 12.557077785028916
thought : 12.650011584913317
stars : 12.688790737853829
couple : 12.731565830451245
alien : 12.811802155159485
moments : 12.890094530509302
evil : 12.90918008264871
wants : 12.91523366454186
friends : 12.971455692528544
night : 12.972118832796
mother : 13.069867009873525
given : 13.163657271730541
ending : 13.241085606272085
play : 13.241256041448459
feel : 13.260355813064143
gives : 13.541933025342574
got : 13.58120683575867
watching : 13.633462479391907
death : 13.638264772375894
looking : 13.717090584113414
girl : 13.728552228886974
instead : 13.774615981791037
probably : 13.808813918690175
city : 13.842578473593091
school : 13.897593833405203
father : 14.066422069009711
music : 14.075762648197905
help : 14.120498729117202
sure : 14.145480680268529
dialogue : 14.23176869122043
kind : 14.399967422476037
black : 14.447741822146453
actor : 14.522615872729146
sense : 14.629745462015816
want : 14.725766439030554
pretty : 14.809940495890388
making : 14.817117131361535
series : 14.821081643716946
set : 14.887819969400011
half : 14.89251185190553
money : 14.901355104392845
bit : 14.934268735728764
home : 14.976582330659667
place : 15.049919713647064
trying : 15.114785990368087
times : 15.118763478807493
sex : 15.166419440553032
american : 15.359810523477407
hard : 15.454208298004339
picture : 15.506551578323716
woman : 15.639843619779164
hollywood : 15.650704478670258
horror : 15.688047135511049
far : 15.758603032319007
watch : 15.781648059164944
fun : 15.799106034203923
special : 15.894929367222112
course : 15.931964229777236
away : 15.944636479597987
takes : 15.954305763102612
men : 16.036233030752417
wife : 16.103810528049053
interesting : 16.110566312034386
screen : 16.330798169836488
goes : 16.355214344649127
minutes : 16.578665989245824
point : 16.593231934007573
quite : 16.743903021148146
lot : 16.7556321332947
comes : 16.945112986149024
high : 16.96333443299414
day : 17.469931907378594
young : 17.61907491805685
come : 17.710951023055475
plays : 17.825218944178573
actors : 17.841139061718554
acting : 18.056556176317212
effects : 18.156452985282307
fact : 18.358966964131444
family : 18.436351324270554
cast : 18.462652990794695
right : 18.51721470872539
look : 18.709286795233268
original : 18.815142636940738
played : 18.96169328195863
years : 19.058321835992686
long : 19.063431217630267
actually : 19.081359841119173
thing : 19.347634515439985
script : 19.466362068961164
old : 19.68484647913068
things : 19.711840751606182
gets : 19.789969444538826
think : 19.79997034212867
role : 19.829843863051224
performance : 19.991860531957602
better : 20.069030711347395
audience : 20.229377054374694
going : 20.384999917030928
year : 20.404754669356507
seen : 20.741715274906582
real : 20.782565933126254
makes : 20.916315796004714
work : 21.48974389558135
funny : 22.184963867355552
world : 22.430195409736793
end : 22.501145434405117
comedy : 22.724158274326264
big : 23.394018499746736
director : 23.689769490697007
great : 24.489611034104875
scenes : 25.243560471583756
know : 25.25908281181752
new : 25.424409388545484
movies : 25.46489805929262
best : 25.793314078809164
scene : 26.65609949406872
man : 27.271016365028732
people : 27.772749971079577
action : 27.8317318022786
little : 27.912251658495467
make : 28.36244923373348
films : 29.081817882359086
bad : 29.1633844710237
plot : 29.81049966927315
really : 30.211353157494234
life : 30.844185813234848
characters : 33.204457851658944
character : 33.73419369933767
story : 36.69429364590541
time : 36.76869565644592
good : 38.945456240101606
like : 49.087665729852674
movie : 80.3332102380712
film : 109.34008874939663

接下来，我们输出排名靠前的单词，这样就可以利用Wordle网站生成如图9-5所示的词云了。

　　令人遗憾的是，我们必须亲自运行代码，才能看到上面词云中的不同色彩。相较于单调的词频而言，TF-IDF度量指标更富于变化，因此我们就能得到更加丰富的色彩。此外，这样还能使得云雾中的单词看起来联系更加紧密。下列代码摘自本书代码包中的ch-09.ipynb文件。

from nltk import data
data.path.append(r'D:\download\nltk_data') # 这里的路径需要换成自己数据文件下载的路径
from nltk.corpus import movie_reviews
from nltk.corpus import stopwords
from nltk.corpus import names
from nltk import FreqDist
from sklearn.feature_extraction.text import TfidfVectorizer
import itertools
import pandas as pd
import numpy as np
import string

sw = set(stopwords.words('english'))
punctuation = set(string.punctuation)
all_names = set([name.lower() for name in names.words()])

def isStopWord(word):
    return (word in sw or word in punctuation) or not word.isalpha() or word in all_names

review_words = movie_reviews.words()
filtered = [w.lower() for w in review_words if not isStopWord(w.lower())]

words = FreqDist(filtered)

texts = []

for fid in movie_reviews.fileids():
    texts.append(" ".join([w.lower() for w in movie_reviews.words(fid) if not isStopWord(w.lower()) and words[w.lower()] > 1]))

vectorizer = TfidfVectorizer(stop_words='english')
matrix = vectorizer.fit_transform(texts)
sums = np.array(matrix.sum(axis=0)).ravel()

ranks = []

for word, val in zip(vectorizer.get_feature_names(), sums):
    ranks.append((word, val))

df = pd.DataFrame(ranks, columns=["term", "tfidf"])
df = df.sort_values(['tfidf'])
print(df.head())

N = int(.01 * len(df))
df = df.tail(N)

for term, tfidf in zip(df["term"].values, df["tfidf"].values):
    print(term, ":", tfidf)

 

9.9社交网络分析

 　　所谓社交网络分析，实际上就是利用网络理论来研究社会关系，其中，网络中的节点代表的是网络中的参与者。节点之间的连线代表的是参与者之间的相互关系。

　　严格来讲，这应该称为一个图。本书仅介绍如何利用流行的Python库NetworkX来分析简单的图。这里，通过Python库matplotlib来对这些网络图进行可视化。

　　为了安装NetworkX，可以使用如下命令。

$ pip3 install networkx

　　关于Networkx，也可以参照这篇文章《数据分析实战-托马兹.卓巴斯》读书笔记第8章--图(NetworkX、Gephi)修订版

　　下面导入NetworkX并指定一个简单的别名。

Import networkx as nx

　　NetworkX提供了许多示例图，下面将其列出，代码如下。

print([s for s in dir(nx) if s.endswith('graph')])

　　下面导入Davis Southern women图并绘制出各个节点的度的柱状图，代码如下。

G = nx.davis_southern_women_graph()
plt.hist(list(nx.degree(G).values())) #AttributeError: 'DegreeView' object has no attribute 'values'，去掉values即可，邀月注。
plt.show()

　　最终得到如图9-6所示的柱状图。

　　下面来绘制带有节点标签的网络图，所需命令如下。

plt.figure(figsize=(8,8))
pos = nx.spring_layout(G)
nx.draw(G, node_size=10)
nx.draw_networkx_labels(G, pos)
plt.show()

　　得到的图形如图9-7所示。

 

     图像的可读性可以再优化：

plt.figure(figsize=(8,8))
print(help(nx.spring_layout))
pos = nx.spring_layout(G, scale=2)

nx.draw(G)
nx.draw_networkx_labels(G, pos)
plt.show()

　　效果如下图：

　　虽然这个例子很短，但是对于简单体验NetworkX的功能特性来说已经足够了。我们可以借助NetworkX来探索、可观化和分析社交媒体网络，如Twitter、Facebook以及LinkedIn等。当然，本节讲述的方法不仅适用于社交网络，实际上，所有类似的网络图都可以使用NetworkX来处理。

 

9.10小结

 　　本章讲述了文本分析方面的知识。首先，我们给出了文本分析中剔除停用词的一个最佳实践。

　　介绍词袋模型时，我们还创建了一个词袋来存放文档内出现的单词。此外，我们还根据所有的单词计数，为每个文档生成了一个特征向量。

　　分类算法是机器学习算法中的一种，用来给特定事物进行分类。朴素贝叶斯分类是一种概率算法，它基于概率与数理统计中的贝叶斯定理。这里，贝叶斯定理指出，后验概率与先验概率和相似度之积成正比。

　　第10章将对机器学习进行更深入的介绍，因为这是一个充满了无限希望的研究领域。也许有一天，它将完全替代人类劳动力。届时，以气象数据为例，来说明Python机器学习库scikit-learn的具体使用方法。

 

 第9章完。

python数据分析个人学习读书笔记-目录索引

 

随书源码官方下载：
https://www.ptpress.com.cn/shopping/buy?bookId=bae24ecb-a1a1-41c7-be7c-d913b163c111

需要登录后免费下载。