中文词频统计及词云制作

1.中软国际华南区技术总监曾老师还会来上两次课,同学们希望曾老师讲些什么内容?(认真想一想回答)

    希望能讲一些大数据相关内容,深入了解一下。

2.中文分词

  1. 下载一中文长篇小说,并转换成UTF-8编码。
  2. 使用jieba库,进行中文词频统计,输出TOP20的词及出现次数。
    import jieba
    ff=open('wdqk.txt','r',encoding='utf-8')
    wdqk=ff.read()
    for i in ',.""?!,。?!“”\n':
        wdqk=wdqk.replace(i,' ')
    wdqk=list(jieba.cut(wdqk))
    zd={}
    paichu={'','','','','','','','','','','','',' '}
    key=set(wdqk)-paichu
    for i in key:
        zd[i]=wdqk.count(i)
    lb=list(zd.items())
    lb.sort(key=lambda x:x[1],reverse=True)
    print('频率最高top10:\n')
    for i in range(10):
        print(lb[i])
    ff.close()

  3. **排除一些无意义词、合并同一词。
  4. **使用wordcloud库绘制一个词云。

(**两项选做,此次作业要求不能雷同。)

 

posted @ 2017-09-25 11:21  23江瑜斌  阅读(158)  评论(1)    收藏  举报