python机器学习——点评评论分析

（一）选题背景：

随着广大用户“即需要、即外卖、即使用”的方便快捷的“外卖生活方式”的形成和普及，如今外卖行业不仅可以满足用户餐饮商品的在线即时购物需求，还可以满足饮食、水果、酒水饮料、家居日用、母婴用品、数码家电、服饰鞋包、美妆护肤、医药等各种品类商品。对于服务行业来说，好评、差评有什么作用呢？最直观的影响，就是后续客户的购买意愿或商家的名誉会受到影响。所以预测好差评对人们进行购物有着重要的意义。于是通过机器学习设计了一套程序用于判断好评、差评。

（二）机器学习设计案例：从网站中下载相关的数据集，对数据集进行整理，在python的环境中，给数据集中的文件打上标签，对数据进行预处理，并运用split分割数据，用贝叶斯模型建立训练模型，最后模型评估并验证。

（三）机器学习的实现步骤

数据来源：大众点评3W条评论数据(带标签)_数据集-阿里云天池 (aliyun.com)

 

 

1. 下载数据集

 

 

 

 

 

2.导入所需要的库

 

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import cross_val_score
import jieba

 

"""
文本预测

得出信息：
- 行：32483条数据  缺失值：stars 跟cus_comment
- 列：14列
    - 目标：stars 星级评分
 - 特征：cus_comment：评价内容 ->> 词汇决定好评/差评
"""
dz_data = pd.read_csv("./data.csv")
dz_data.info()
dz_data.head()

 1
"""
 1-2：差评 --- >0

4-5：好评 --- >1

3：中评 --- >干扰干扰项！ ---> np.nan
"""

rpl_data = {1.0:0, 2.0:0, 3.0:np.nan, 4.0:1, 5.0:1}    #对目标值进行替换取代

dz_data["label"] = dz_data["stars"].map(rpl_data)

dz_data.info()

dz_data.head()

 

 

# 注意：删除缺失值

dz_data_2 = dz_data.dropna()

dz_data_2.info()

dz_data.head()

 

 

 

3.数据分割

 

from sklearn.model_selection import train_test_split
# 特征 目标

x_train, x_test, y_train, y_test = train_test_split(dz_data_2["cus_comment"], dz_data_2["label"], random_state=3, test_size=0.25)
print(len(y_train))
 6 print(len(y_test))
print(len(x_train))
print(len(x_test))

 x_train 

 

#去除停用词   把没作用的词去除

f = open("stopwords.txt", encoding="utf-8")    #使用停用词表

stop_words = f.readlines()

stop_words = [word.strip() for word in stop_words]

stop_words

 

#使用 tf-idf 进行文本处理用于信息检索与数据挖掘

from sklearn.feature_extraction.text import TfidfVectorizer

# ngram_range=(1,2) ->> 表示选取1-2个词作为组合方式

tf_idf = TfidfVectorizer(stop_words=stop_words, max_features=4000, ngram_range=(1,2))

tf_idf.fit(x_train)

 

4.建立模型

 #贝叶斯模型

from sklearn.naive_bayes import MultinomialNB      

mt_cls = MultinomialNB()    #实义化

mt_cls.fit(tf_idf.transform(x_train), y_train)    #训练

 

模型评估

pred_proba = mt_cls.predict_proba(tf_idf.transform(x_test))[:,1]
pred_proba
mt_cls.score(tf_idf.transform(x_test), y_test)

 

 

看多次评分结果 ->> 交叉验证

 

 5.测试模型

1. 首先导入 jieba 库：import jieba
2. 对需要分词的文本（test_s）进行分词处理，将分词结果用空格隔开并存储到列表中：s_fenci = " ".join(list(jieba.cut(test_s)))
3. 将分词结果转换为 pandas.Series 格式：s_fenci = pd.Series(s_fenci)
4. 将处理后的文本输入到模型中进行预测，并获取其概率值：proba = model.predict_proba(tf_idf.transform(s_fenci))[:,1][0]
5. jieba 的分词操作主要体现在第 2 行代码中的 list(jieba.cut(test_s)) 这个部分。其中，jieba.cut(test_s) 会将字符串 test_s 进行分词处理，并返回一个可迭代的生成器对象。list() 函数则将其转换为列表格式，方便进行 join 操作

test1 = "感觉这边环境不是很好，但是，挺好吃的！好评！！！"

test2 = "这是我在长沙吃的最好的一顿，第一个上来的毛豆，配上灵魂酱汁YYDS。第二个豆花，也太好吃了把！花甲的汤汁也是无敌了"

test3 = "朋友说很好吃，抱有非常大的期望，但结果很失望！！一点都不好吃"

test4 = "差评！！。"

import jieba                          #用jieba进行分词

def pred(model, test_s):

    s_fenci = " ".join(list(jieba.cut(test_s)))

    s_fenci = pd.Series(s_fenci)

#     print(s_fenci)

    proba = model.predict_proba(tf_idf.transform(s_fenci))[:,1][0]

#     print(proba)

return proba

print(f"test1预测为好评的概率是:{pred(mt_cls, test1)}")

print(f"           差评的概率是:{1-pred(mt_cls, test1)}")

print(f"test2预测为好评的概率是:{pred(mt_cls, test2)}")

print(f"           差评的概率是:{1-pred(mt_cls, test2)}")

print(f"test3预测为好评的概率是:{pred(mt_cls, test3)}")

print(f"           差评的概率是:{1-pred(mt_cls, test3)}")

print(f"test4预测为好评的概率是:{pred(mt_cls, test4)}")

print(f"           差评的概率是:{1-pred(mt_cls, test4)}")

 

 

差评测试中由于数据样本少，导致预测不准确

test5 = "感觉很一般吧，东西没听说的那么好吃，有点些东西是冷的，不太新鲜"

test6 = "一直网上看人说不错，但是我吃了没说的那么好吃，可能有点虚化了"

test7 = "垃圾垃圾垃圾别去"

test8 = "东西不新鲜是冷的"

print(f"test5预测为好评的概率是:{pred(mt_cls, test5)}")     #结果极其不准确

print(f"           差评的概率是:{1-pred(mt_cls, test5)}")

print(f"test6预测为好评的概率是:{pred(mt_cls, test6)}")

print(f"           差评的概率是:{1-pred(mt_cls, test6)}")

print(f"test7预测为好评的概率是:{pred(mt_cls, test7)}")

print(f"           差评的概率是:{1-pred(mt_cls, test7)}")

print(f"test8预测为好评的概率是:{pred(mt_cls, test8)}")

print(f"           差评的概率是:{1-pred(mt_cls, test8)}")

 

 

 

 

解决办法：添加差评样本的数据，复制差评信息使得与好评信息量基本一致

dz_data_2["label"].value_counts()

# 获取目标为0的目标数据

y_lower = y_train[y_train==0]

# 获取目标为0的特征数据

x_lower = x_train[y_train==0]

x_lower

y_lower

 

 

y_train_2 = y_train

x_train_2 = x_train

#追加十次

for count in range(10):

    y_train_2 = y_train_2.append(y_lower)

x_train_2 = x_train_2.append(x_lower)

y_train_2.value_counts()    #好评与差评数量一致

 

采用重构训练集训练

mt_cls_2 = MultinomialNB()     
mt_cls_2.fit(tf_idf.transform(x_train_2), y_train_2)

 

#模型预测

pred_proba_2 = mt_cls_2.predict_proba(tf_idf.transform(x_test))[:,1]
pred_proba_2

 

#模型评分

mt_cls_2.score(tf_idf.transform(x_test), y_test)

 

多次验证

print(f"test5预测为好评的概率是:{pred(mt_cls_2, test1)}")     

print(f"           差评的概率是:{1-pred(mt_cls_2, test1)}")

print(f"test6预测为好评的概率是:{pred(mt_cls_2, test2)}")

print(f"           差评的概率是:{1-pred(mt_cls_2, test2)}")

print(f"test7预测为好评的概率是:{pred(mt_cls_2, test3)}")

print(f"           差评的概率是:{1-pred(mt_cls_2, test3)}")

print(f"test8预测为好评的概率是:{pred(mt_cls_2, test4)}")

print(f"           差评的概率是:{1-pred(mt_cls_2, test4)}")

  #结果准确

test5 = "感觉很一般吧，东西没听说的那么好吃，有点些东西是冷的，不太新鲜"
test6 = "一直网上看人说不错，但是我吃了没说的那么好吃，可能有点虚化了"
test7 = "垃圾垃圾垃圾别去"
test8 = "东西不新鲜是冷的"
print(f"test5预测为好评的概率是:{pred(mt_cls_2, test5)}")     #结果准确
print(f"           差评的概率是:{1-pred(mt_cls_2, test5)}")
print(f"test6预测为好评的概率是:{pred(mt_cls_2, test6)}")
print(f"           差评的概率是:{1-pred(mt_cls_2, test6)}")
print(f"test7预测为好评的概率是:{pred(mt_cls_2, test7)}")
print(f"           差评的概率是:{1-pred(mt_cls_2, test7)}")
print(f"test8预测为好评的概率是:{pred(mt_cls_2, test8)}")
print(f"           差评的概率是:{1-pred(mt_cls_2, test8)}")

 

（四）总结

收获：机器学习就是从数据中挖掘出有价值的信息，数据本身是无意识的，它不能自动呈现出有用的信息。要给数据一个抽象的表示，接着基于表示进行建模，然后估计模型的参数，也就是计算;了应对大规模的数据所带来的问题，我们还需要设计一些高效的实现手段，包括硬件层面和算法层面。

改进建议：可以进行多次训练和添加更多的数据集来提高机器的判断正确率

全代码：

import numpy as np

import pandas as pd

from sklearn.model_selection import train_test_split

from sklearn.feature_extraction.text import TfidfVectorizer

from sklearn.naive_bayes import MultinomialNB

from sklearn.model_selection import cross_val_score

import jieba


"""
文本预测

得出信息：
- 行：32483条数据  缺失值：stars 跟cus_comment
- 列：14列
    - 目标：stars 星级评分
    - 特征：cus_comment：评价内容 ->> 词汇决定好评/差评
"""

dz_data = pd.read_csv("./某点评评论.csv") #使用 pd.read_csv() 方法读取文件中的数据

dz_data.info()

dz_data.head()
#使用 dz_data.info() 和 dz_data.head() 等方法查看数据信息和前面几行数据

"""
1-2：差评 --- >0
4-5：好评 --- >1
3：中评 --- >干扰干扰项！ ---> np.nan
"""

rpl_data = {1.0:0, 2.0:0, 3.0:np.nan, 4.0:1, 5.0:1}    #对目标值进行替换取代

dz_data["label"] = dz_data["stars"].map(rpl_data)

dz_data.info()

dz_data.head()

# 注意：删除缺失值 

dz_data_2 = dz_data.dropna()

dz_data_2.info()

dz_data.head()

from sklearn.model_selection import train_test_split  #使用 train_test_split() 方法将数据划分成训练集和测试集

# 特征 目标

x_train, x_test, y_train, y_test = train_test_split(dz_data_2["cus_comment"], dz_data_2["label"], random_state=3, test_size=0.25)

print(len(y_train))

print(len(y_test))

print(len(x_train))

print(len(x_test))

f = open("stopwords.txt", encoding="utf-8")    #使用停用词表

stop_words = f.readlines()

stop_words = [word.strip() for word in stop_words]

stop_words

print(len(stop_words))

#使用 tf-idf 进行文本处理

from sklearn.feature_extraction.text import TfidfVectorizer

# ngram_range=(1,2) ->> 表示选取1-2个词作为组合方式

tf_idf = TfidfVectorizer(stop_words=stop_words, max_features=4000, ngram_range=(1,2)) #使用 TfidfVectorizer() 方法实现文本特征提取

# fit ->> 训练

# transform ->> 转换数据

# fit_transform ->> 训练&转换数据

tf_idf.fit(x_train)

from sklearn.naive_bayes import MultinomialNB      #采用贝叶斯模型

mt_cls = MultinomialNB()    #实例化

mt_cls.fit(tf_idf.transform(x_train), y_train)    #训练

# 好评差评的概率

pred_proba = mt_cls.predict_proba(tf_idf.transform(x_test))[:,1]

pred_proba

#模型评分

mt_cls.score(tf_idf.transform(x_test), y_test)

from sklearn.model_selection import cross_val_score

scores = cross_val_score(mt_cls, tf_idf.transform(x_test), y_test, cv=10)

np.mean(scores)    #多测预测取平均值

test1 = "感觉这边环境不是很好，但是，挺好吃的！好评！！！"

test2 = "这是我在长沙吃的最好的一顿，第一个上来的毛豆，配上灵魂酱汁YYDS。第二个豆花，也太好吃了把！花甲的汤汁也是无敌了"

test3 = "朋友说很好吃，抱有非常大的期望，但结果很失望！！一点都不好吃"

test4 = "差评！！。"

import jieba
# 注意1：test系列没有做分词处理 ->> 以空格连接词语为一整个字符串

# 注意2：处理完后，进行tf-idf处理

# 注意3：预测得到概率

def pred(model, test_s):

s_fenci = " ".join(list(jieba.cut(test_s)))

s_fenci = pd.Series(s_fenci)

#     print(s_fenci)

proba = model.predict_proba(tf_idf.transform(s_fenci))[:,1][0]

#     print(proba)

return proba

print(f"test1预测为好评的概率是:{pred(mt_cls, test1)}")

print(f"           差评的概率是:{1-pred(mt_cls, test1)}")

print(f"test2预测为好评的概率是:{pred(mt_cls, test2)}")

print(f"           差评的概率是:{1-pred(mt_cls, test2)}")

print(f"test3预测为好评的概率是:{pred(mt_cls, test3)}")

print(f"           差评的概率是:{1-pred(mt_cls, test3)}")

print(f"test4预测为好评的概率是:{pred(mt_cls, test4)}")

print(f"           差评的概率是:{1-pred(mt_cls, test4)}")

#差评测试

test5 = "感觉很一般吧，东西没听说的那么好吃，有点些东西是冷的，不太新鲜"

test6 = "一直网上看人说不错，但是我吃了没说的那么好吃，可能有点虚化了"

test7 = "垃圾垃圾垃圾别去"

test8 = "东西不新鲜是冷的"

dz_data_2["label"].value_counts()

# 获取目标为0的目标数据

y_lower = y_train[y_train==0]

# 获取目标为0的特征数据

x_lower = x_train[y_train==0]

x_lower

y_lower

y_train_2 = y_train

x_train_2 = x_train

#追加十次

for count in range(10):

y_train_2 = y_train_2.append(y_lower)

x_train_2 = x_train_2.append(x_lower)

y_train_2.value_counts()    #好评与差评数量一致

mt_cls_2 = MultinomialNB()     #采用重构训练集训练

mt_cls_2.fit(tf_idf.transform(x_train_2), y_train_2)

#模型预测

pred_proba_2 = mt_cls_2.predict_proba(tf_idf.transform(x_test))[:,1]

pred_proba_2

#模型评分

mt_cls_2.score(tf_idf.transform(x_test), y_test)

from sklearn.model_selection import cross_val_score

scores = cross_val_score(mt_cls_2, tf_idf.transform(x_test), y_test, cv=10) #使用新的训练集重新构建模型 mt_cls_2，进行预测并展示模型评分和预测结果

np.mean(scores)    #多测预测取平均值

print(f"test5预测为好评的概率是:{pred(mt_cls_2, test1)}")     #结果准确

print(f"           差评的概率是:{1-pred(mt_cls_2, test1)}")

print(f"test6预测为好评的概率是:{pred(mt_cls_2, test2)}")

print(f"           差评的概率是:{1-pred(mt_cls_2, test2)}")

print(f"test7预测为好评的概率是:{pred(mt_cls_2, test3)}")

print(f"           差评的概率是:{1-pred(mt_cls_2, test3)}")

print(f"test8预测为好评的概率是:{pred(mt_cls_2, test4)}")

print(f"           差评的概率是:{1-pred(mt_cls_2, test4)}")

test5 = "感觉很一般吧，东西没听说的那么好吃，有点些东西是冷的，不太新鲜"

test6 = "一直网上看人说不错，但是我吃了没说的那么好吃，可能有点虚化了"

test7 = "垃圾垃圾垃圾别去"

test8 = "东西不新鲜是冷的"

#再次预测

print(f"test5预测为好评的概率是:{pred(mt_cls_2, test5)}")     #结果准确

print(f"           差评的概率是:{1-pred(mt_cls_2, test5)}")

print(f"test6预测为好评的概率是:{pred(mt_cls_2, test6)}")

print(f"           差评的概率是:{1-pred(mt_cls_2, test6)}")

print(f"test7预测为好评的概率是:{pred(mt_cls_2, test7)}")

print(f"           差评的概率是:{1-pred(mt_cls_2, test7)}")

print(f"test8预测为好评的概率是:{pred(mt_cls_2, test8)}")

print(f"           差评的概率是:{1-pred(mt_cls_2, test8)}")