中文词频统计及词云制作

1.中软国际华南区技术总监曾老师还会来上两次课,同学们希望曾老师讲些什么内容?(认真想一想回答)

    希望老师讲解更多的实用企业内容,把专业知识联系到实际运用之中。

2.中文分词

  1. 下载一中文长篇小说,并转换成UTF-8编码。

    你曾经有梦见这样无边无际的月光下的水域么?无声起伏的黑色的巨浪,在地平线上爆发出沉默的力量。就这样,从仅仅打湿脚底,到盖住脚背,漫过小腿,一步一步地,走向寒冷寂静的深渊。你有听到过这样的声音么?在很遥远,又很贴近的地方响起来。像是有细小的虫子飞进了耳孔。在耳腔里嗡嗡地振翅。突突地跳动在太阳穴上的声音。视界里拉动出长线的模糊的白色光点。又是什么。漫长的时光像是一条黑暗潮湿的闷热洞穴。青春如同悬在头顶上面的点滴瓶。一滴一滴地流逝干净。而窗外依然是阳光灿烂的晴朗世界。就是这样了吧。弄堂里弥漫起来的晨雾,被渐渐亮起来的灯光照射出一团一团黄晕来。还没有亮透的清晨,在冷蓝色的天空上面,依然可以看见一些残留的星光。气温在这几天飞快地下降了。呵气成霜。冰冻三尺。记忆里停留着遥远阳光下的晴朗世界。“齐铭把牛奶带上”,刚准备拉开门,母亲就从客厅里追出来,手上拿着一袋刚从电饭煲里蒸热的袋装牛奶,腾腾地冒着热气,“哦哟,你们男孩子要多喝牛奶晓得伐,特别是你们高一的男孩子,不喝怎么行。”说完拉
    开齐铭背后的书包拉链,一把塞进去。因为个子比儿子矮上一大截,所以母亲还踮了踮脚。塞完牛奶,母亲捏了捏齐铭的胳膊,又开始叨念着,“哦哟,大冬天的就穿这么一点啊,这怎么行,男孩子嘛哪能只讲究帅气的啦?”“好啦好啦,”齐铭低低应了一声,然后拉开,“妈,我上课要迟到了。”拉开门,浓重的雾气朝屋里涌。头顶是深冬里飘荡着的白寥寥的天光。还是早上很早,光线来不及照穿整条冗长的弄堂。弄堂两边堆放着的箱子,锅,以及垃圾桶,都只能在雾气里浮出一圈浅浅的灰色轮廓来。齐铭关上了门,连同母亲的唠叨一起关在了里面。只来得及隐约听到半句“放学后早点……”,冬天的寒气就隔绝了一切。
    齐铭提了提书包带子,哈出口白气,耸耸肩,朝弄堂口走去。刚走两步,看见踉跄着冲出家门的易遥,险些撞上。齐铭刚想张口问声早,就听到门里传出来的女人的尖嗓门:“赶赶赶,你赶着去投胎啊你,你怎么不去死!赔钱货!”易遥抬起头,正好对上齐铭稍稍有些尴尬的脸。易遥沉默的脸在冬天早晨微薄的光线里看不出表情。在齐铭的记忆里,这一个对视,像是一整个世纪般长短的慢镜。“又和你妈吵架了?”“恩。”“怎么回事?”“算了别提了”,易遥揉着胳膊上的淤青,那是昨天被她妈掐的,“你知道我妈那人,就是神经病,我懒得理她。”“……恩。你没事吧?”“恩。没事。”深冬的清晨。整个弄堂都还是一片安静。

  2. 使用jieba库,进行中文词频统计,输出TOP20的词及出现次数。
    sep =',.:?!=_'
    exculude ={'','','','','',''}
    def gettxt():
            txt=open('小说.txt','r',encoding='utf-8').read().lower()
            for ch in sep:
                    txt=txt.replace(ch,' ')
            return txt
    bigstr= gettxt()
    biglist=bigstr.jieba.lcut()
    bigdict={}
    for word in biglist:
        bigdict[word]=bigdict.get(word,0)+1
    for word in exclude:
        del(bigdict[word])
    bigitems=list(bigdict.items())
    bigitems.sort(key=lambda x:x[1],reverse=True)
    for i in range(10):
        w,c=bigitems[i]
        print('{0:>10}:{1:<5}'.format(w,c))

     

posted on 2017-09-25 18:47  ohh咔咔咔  阅读(178)  评论(0编辑  收藏  举报

导航