爬取新浪微博热搜榜

一、主题式网络爬虫设计方案（15分）

1.主题式网络爬虫名称  爬取新浪网热搜

2.主题式网络爬虫爬取的内容与数据特征分析   爬取新浪网热搜排行榜、热度

3.主题式网络爬虫设计方案概述（包括实现思路与技术难点）

本案例使用requests库获取网页数据，使用BeautifulSoup库解析页面内容，再使用pandas库把爬取的数据输出，并对数据可视化，最后进行小结；技术难点：爬取有用的数据，将有碍分析的数据剔除，回归直线。

二、主题页面的结构特征分析（15分）

1.主题页面的结构特征

页面内容如下，本方案要爬取的是表格中的内容。

 

 

 

 

 2.Htmls页面解析

通过F12，对页面进行检查，查看我们所需要爬取内容的相关代码。

 

 

 

三、网络爬虫程序设计（60分）

1.数据爬取与采集（20）

爬取的数据

 

 

 

 

 提取前十存入Excel

 

 

 2.对数据进行清洗和处理（10）

 

 

 

 

 

 

 

 3.数据分析与可视化（15）

 

 

 

 

 

 

 

 

 

 

 

 一元二次回归方程

 

 

 

 完整代码

 

四、结论（10分）
1.经过对主题数据的分析与可视化， 可以得到哪些结论？

经过对数据的分析，可以观察到热搜的排名及热度，数据的可视化使得爬取的数据更加的清晰，通过对数据的分析使得操作更加熟练。

2.对本次程序设计任务完成的情况做一个简单的小结。

通过这次作业，了解自己有太多的缺陷，对于细节知识的缺乏，实践存在很多问题，可视化通过查阅才得出，要学的东西还很多，希望自己保持求学的态度，继续前行。加深了对爬虫的理解，加强了兴趣。