基于贝叶斯的文本分类实战
http://www.letiantian.me/2015-03-31-bayes-classifier-for-text/
2015-03-31
本文介绍如何使用scikit-learn工具包下的贝叶斯工具进行文本分类。
生成数据集
数据集是有8个分类的文本数据集，使用了结巴分词对每个文本分词，每个单词当作特征，再利用二元词串构造更多特征，然后去掉停用词，去掉出现次数太多和太少的特征，得到了19630个特征。取1998个样本用于训练，509个用于测试。基于词袋模型的思路将每个文本转换为向量，训练集和测试集分别转换为矩阵，并用python numpy模块将其保存为npy格式。这个预处理后的数据集保存在了https://github.com/letiantian/dataset-for-classifying。
关于贝叶斯
导入数据集
在https://github.com/letiantian/dataset下载text-classification.7z，解压后导入数据：
$ ls
test_data.npy test_labels.npy training_data.npy training_labels.npy
$ ipython
>>> import numpy as np
>>> training_data = np.load("training_data.npy")
>>> training_data.shape
(1998, 19630)
>>> training_labels = np.load("training_labels.npy")
>>> training_labels
array([6, 6, 6, ..., 2, 2, 2])
>>> training_labels.shape
(1998,)
>>> test_data = np.load("test_data.npy")
>>> test_data.shape
(509, 19630)
>>> test_labels = np.load("test_labels.npy")
>>> test_labels.shape
(509,)
使用多项式贝叶斯
>>> from sklearn.naive_bayes import MultinomialNB
>>> clf =MultinomialNB()
>>> clf.fit(training_data, training_labels) # 训练模型
MultinomialNB(alpha=1.0, class_prior=None, fit_prior=True)
>>> predict_labels = clf.predict(test_data) # 预测训练集
>>> sum(predict_labels == test_labels) # 预测对了几个？
454
>>> len(predict_labels) # 训练样本个数
509
>>> 454./509 # 正确率
0.8919449901768173 # 效果不错
>>> from sklearn.metrics import confusion_matrix
>>> confusion_matrix(test_labels, predict_labels) # 混淆矩阵
array([[ 39, 0, 0, 1, 0, 1, 0, 0],
[ 0, 32, 1, 0, 0, 4, 0, 1],
[ 0, 0, 50, 0, 0, 8, 0, 4],
[ 0, 0, 1, 44, 0, 10, 0, 0],
[ 1, 0, 0, 0, 66, 0, 0, 1],
[ 2, 2, 1, 6, 1, 144, 1, 1],
[ 0, 0, 0, 0, 0, 2, 25, 0],
[ 0, 0, 1, 2, 2, 1, 0, 54]])
使用伯努利贝叶斯
>>> from sklearn.naive_bayes import BernoulliNB
>>> clf2 = BernoulliNB()
>>> clf2.fit(training_data, training_labels) # 训练模型
BernoulliNB(alpha=1.0, binarize=0.0, class_prior=None, fit_prior=True)
>>> predict_labels = clf2.predict(test_data) # 预测训练集
>>> sum(predict_labels == test_labels) # 预测对了几个？
387
>>> 387./509 # 正确率
0.7603143418467584
这个和下面的效果是一样的：
>>> clf2 = BernoulliNB()
>>> clf2.fit(training_data>0, training_labels)
BernoulliNB(alpha=1.0, binarize=0.0, class_prior=None, fit_prior=True)
>>> predict_labels = clf2.predict(test_data>0)
>>> sum(predict_labels == test_labels)
387
使用高斯贝叶斯
>>> from sklearn.naive_bayes import GaussianNB
>>> clf3 = GaussianNB()
>>> clf3.fit(training_data, training_labels) # 训练模型
GaussianNB()
>>> predict_labels = clf3.predict(test_data) # 预测训练集
>>> sum(predict_labels == test_labels) # 预测对了几个？
375
>>> 375./509 # 正确率
0.7367387033398821