中文词频统计

本次作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822

• 1.下载一长篇中文小说。

      本次作业的小说来源于水浒传五十回至五十五回。

• 2.从文件读取待分析文本。

     

•  3.安装并使用jieba进行中文分词。

     

     

• 更新词库，加入所分析对象的专业词汇。
• 生成词频统计
• 排序
• 排除语法型词汇，代词、冠词、连词等停用词。
•  输出词频最大TOP20，把结果存放到文件里

 

# 去除标点符号
fuhao = {'。','！','？','的','“','”','（','）',' ','》','《','，'}
jieba.add_word('宋江')
words = list(jieba.cut(text))
articleDict = {}
articleSet = set(words)-fuhao
for w in articleSet:
    if len(w)>1:
        articleDict[w] = words.count(w)

articlelist = sorted(articleDict.items(),key = lambda x:x[1], reverse = True)
print(articlelist)

# 对结果输出到text.csv中
import pandas as pd
for i in range(10):
    print(articlelist[i])
pd.DataFrame(data=articlelist).to_csv("F:\\xiaoshuo.csv",encoding='utf-8')

• 生成词云