中文词频统计及词云制作

1.中软国际华南区技术总监曾老师还会来上两次课,同学们希望曾老师讲些什么内容?(认真想一想回答)

 希望老师能讲讲更多关于python的知识,并且讲讲大数据的的另一些方向

2.中文分词

a。下载一中文长篇小说,并转换成UTF-8编码。

 

b.使用jieba库,进行中文词频统计,输出TOP20的词及出现次数。

import jieba
ff=open('wdqk.txt','r',encoding='utf-8')
wdqk=ff.read()
for i in ',.""?!,。?!“”\n':
    wdqk=wdqk.replace(i,' ')
wdqk=list(jieba.cut(wdqk))
zd={}
paichu={'','','','','','','','','','',}
key=set(wdqk)-paichu
for i in key:
    zd[i]=wdqk.count(i)
lb=list(zd.items())
lb.sort(key=lambda x:x[1],reverse=True)
print('频率最高top10:\n')
for i in range(10):
    print(lb[i])
ff.close()

Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\ADMINI~1\AppData\Local\Temp\jieba.cache
Loading model cost 0.723 seconds.
Prefix dict has been built succesfully.
我            575
的          413
心 375
好 286
冷 251
在          198
有          155
了          135
浩          124
然          113

 

posted @ 2017-09-25 17:29  47何梓亮  阅读(215)  评论(0编辑  收藏  举报