中文词频统计
下载一长篇中文文章。
从文件读取待分析文本。
news = open('gzccnews.txt','r',encoding = 'utf-8')
安装与使用jieba进行中文分词。
pip install jieba
import jieba
list(jieba.lcut(news))
生成词频统计
排序
排除语法型词汇,代词、冠词、连词
输出词频最大TOP20
import jieba txt = open('xiaoshuo.txt', 'r', encoding='utf-8') str = txt.read() txt.close() word=list(jieba.lcut(str)) sign=[',','.','\n','『',' ','。','』','”','“','他','了','是','也','我','就','这','?','那','不','三','色','着','的','和','但','都','你','中','却',':'] dic = {} for i in word: dic[i] = dic.get(i,0)+1 for i in sign: if i in dic: del dic[i] str = list(dic.items()) str.sort(key=lambda x: x[1], reverse=True) for i in range(20): print(str[i])
截图: