一个完整的大作业

 

1.选一个自己感兴趣的主题。

2.网络上爬取相关的数据。

3.进行文本分析，生成词云。

4.对文本分析结果解释说明。

5.写一篇完整的博客，附上源代码、数据爬取及分析结果，形成一个可展示的成果。

首先选择百度贴吧猫的主题

 

爬取数据代码如下

url = "http://tieba.baidu.com/f?kw=%E7%8C%AB&ie=utf-8&pn="


def get_title(url):
    html = urlopen(url)
    bs = BeautifulSoup(html, "html.parser")
    for title in bs.find_all("a", attrs={"class": "j_th_tit"}):
        with open("text.txt", "a+") as f:
            f.write(title.get_text() + "\n")

for i in range(10):
    print("page:", i)
    l = url + str(i * 50)
    get_title(l)

爬取500条数据，每页50条标题，共10页

 

 

 爬取到数据之后就对数据进行分析和统计，代码如下

f = open("counts.txt", "a+")
text = open("text.txt", "r", encoding="utf-8").read()
ex = ["怎么", "什么", "这是"]
counts = {}

ls = []
words = jieba.lcut(text)
for word in words:
    ls.append(word)
    if len(word) == 1 or word in ex:
        continue
    counts[word] = counts.get(word, 0) + 1

items = list(counts.items())
items.sort(key=lambda x: x[1], reverse=True)
for i in range(100):
    word, count = items[i]
    print("{:<10}{:>5}".format(word, count))
    f.write("{:<10}{:>5}".format(word, count) + "\n")
f.close()

 结果的部分如图

 

再对这些数据做成词云，代码如下

txt = " ".join(words)
my_wordcloud = wordcloud.WordCloud(font_path="/usr/share/font/simsun.ttf").generate(txt)

plt.imshow(my_wordcloud)
plt.axis("off")
plt.show()

结果生成词云如图

 

从中可以看到猫咪出现词语占多数