第十一次作业

sklearn中的朴素贝叶斯模型及其应用

1.使用朴素贝叶斯模型对iris数据集进行花分类

尝试使用3种不同类型的朴素贝叶斯：

高斯分布型

多项式型

伯努利型

2.使用sklearn.model_selection.cross_val_score()，对模型进行验证。

##高斯分布型
from sklearn import datasets
iris = datasets.load_iris()

from sklearn.naive_bayes import GaussianNB
clf = GaussianNB()  #构造
pred = clf.fit(iris.data,iris.target)   #拟合
y_pred = pred.predict(iris.data)  #预测

print(iris.data.shape[0],(iris.target !=y_pred).sum())

 

##伯努利型
from sklearn import datasets
iris = datasets.load_iris()

from sklearn.naive_bayes import BernoulliNB
clf = BernoulliNB()  #构造
pred = clf.fit(iris.data,iris.target)   #拟合
y_pred = pred.predict(iris.data)   #预测

print(iris.data.shape[0],(iris.target != y_pred).sum())

 

##多项式型
from sklearn import datasets
iris = datasets.load_iris()

from sklearn.naive_bayes import MultinomialNB
clf = MultinomialNB()    #构造
pred = clf.fit(iris.data,iris.target)   #拟合
y_pred = pred.predict(iris.data)   #预测

print(iris.data.shape[0],(iris.target != y_pred).sum())

 

##使用sklearn.model_selection.cross_val_score()对高斯分布型进行验证
from sklearn.naive_bayes import GaussianNB
from sklearn.model_selection import cross_val_score
clf = GaussianNB()
scores = cross_val_score(clf,iris.data,iris.target,cv=10)
print("Accuracy:%.3f"%scores.mean())

 

##使用sklearn.model_selection.cross_val_score()对伯努利型进行验证
from sklearn.naive_bayes import BernoulliNB
from sklearn.model_selection import cross_val_score
clf= BernoulliNB()
scores = cross_val_score(clf,iris.data,iris.target,cv=10)
print("Accuracy:%.3f"%scores.mean())

 

##使用sklearn.model_selection.cross_val_score()对多项式型进行验证
from sklearn.naive_bayes import BernoulliNB
from sklearn.model_selection import cross_val_score
clf= MultinomialNB()
scores = cross_val_score(clf,iris.data,iris.target,cv=10)
print("Accuracy:%.3f"%scores.mean())

 

3. 垃圾邮件分类

数据准备：

• 用csv读取邮件数据，分解出邮件类别及邮件内容。
• 对邮件内容进行预处理：去掉长度小于3的词，去掉没有语义的词等

尝试使用nltk库：

pip install nltk

import nltk

nltk.download

不成功：就使用词频统计的处理方法

 

训练集和测试集数据划分

• from sklearn.model_selection import train_test_split

 

import csv
file_path=r'‪‪D:/0/SMSSpamCollectionjsn.txt'
sms=open(file_path,'r',encoding='utf-8')

sms_data=[]
sms_label=[]
reader=csv.reader(sms,delimiter='\t')
for line in reader:
    sms_label.append(line[0])
    sms_data.append(line[1])
sms.colse()
sms_data
sms_label