一个完整的大作业
一、作业要求
1、选一个自己感兴趣的主题。
2、网络上爬取相关的数据。
3、进行文本分析,生成词云。
4、对文本分析结果解释说明。
5、写一篇完整的博客,附上源代码、数据爬取及分析结果,形成一个可展示的成果。
主题:
源代码:
2 import urllib.request as ur 3 from bs4 import BeautifulSoup 4 import re 5 url='http://news.scnu.edu.cn/14942' 6 res=ur.urlopen(url).read().decode('utf-8') #下载url中的源代码 7 soup=BeautifulSoup(res,'lxml') 8 content=soup.select('section[class="maintext"] p') #获取文章主体内容 9 data='' #存一篇文章的变量 10 for i in content: 11 data+=re.sub('\s+','',i.get_text()) 12 15 import re 16 import jieba 17 import matplotlib.pyplot as plt 18 from wordcloud import WordCloud 19 20 word=' '.join(jieba.cut(data)) 21 my_wordcloud = WordCloud(font_path='C:\\Windows\\Fonts\\AdobeKaitiStd-Regular.otf').generate(word) 22 plt.imshow(my_wordcloud) 23 plt.axis("off") 24 plt.show()
云词: