猪精雅0

导航

中文词频统计

import jieba

#打开一中文长篇小说,并以UTF-8编码解码
fr = open('小说.txt','r',encoding = 'utf-8')
content = fr.read()
fr.close()
for i in (',。--\n“”!;?!\u30000'):
    content = content.replace(i,' ')
a = list(jieba.cut(content))

#进行中文词频统计,输出TOP20的词及出现次数
dic = {}
for w in a :
    if len(w)>1:#排除一些无意义词、合并同一词
        dic[w] = a.count(w)
b = list(dic.items())
b.sort(key = lambda x:x[1],reverse=True)
for i in range(20):
    print(b[i])

这篇文章讲的是作者的父亲送作者去坐火车,父亲前去买橘子,父亲因为处理家中丧事而日渐衰老,作者看到父亲的背影想到以后还能否再相见

posted on 2017-09-29 11:30  102林晓霞  阅读(157)  评论(0)    收藏  举报