11.29

1. 数据准备：收集数据与读取

2. 数据预处理：处理数据

3. 训练集与测试集：将先验数据按一定比例进行拆分。

4. 提取数据特征，将文本解析为词向量 。

5. 训练模型：建立模型，用训练数据训练模型。即根据训练样本集，计算词项出现的概率P(xi|y)，后得到各类下词汇出现概率的向量 。

6. 测试模型：用测试数据集评估模型预测的正确率。

混淆矩阵

准确率、精确率、召回率、F值

 

 

#将其向量化
from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer=TfidfVectorizer(min_df=2,ngram_range=(1,2),stop_words='english',strip_accents='unicode',norm='l2')
X_train=vectorizer.fit_transform(x_train)
X_test=vectorizer.transform(x_test)

 

#预处理
def preprocessing(text):
#text=text.decode("utf-8")
tokens=[word for sent in nltk.sent_tokenize(text) for word in nltk.word_tokenize(sent)]
stops=stopwords.words('english')
tokens=[token for token in tokens if token not in stops]

tokens=[token.lower() for token in tokens if len(token)>=3]
lmtzr=WordNetLemmatizer()
tokens=[lmtzr.lemmatize(token) for token in tokens]
preprocessed_text=' '.join(tokens)
return preprocessed_text

 

import nltk
for sent in nltk.sent_tokenize(text):
for token in nltk.word_tokenize(sent):
print(token)

 

#将其向量化
from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test = train_test_split(sms_data,sms_label,test_size=0.3,random_state=0,stratify=sms_label)

from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer=TfidfVectorizer(min_df=2,ngram_range=(1,2),stop_words='english',strip_accents='unicode',norm='12')
X_train=vectorizer.fit_transform(x_train)
X_test=vectorizer.transform(x_test)

#朴素贝叶斯
from sklearn.naive_bayes import MultinomialNB
clf=MultinomialNB().fit(x_train,y_train)

#测试模型
from sklearn.metrics import confusion_matrix
from sklearn.metrics import classification_report


cm=confusion_matrix(y_test.y_nb_pred)
print(cm)

cr=classification_report(y_test.y_nb_pred)
print(cr)
 

 

 

 

 

 

 

 

https://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfVectorizer.html