摘要: 一.主题式网络爬虫设计方案 1.爬虫名称:爬取搜狗动漫热搜榜数据 2.网络爬虫爬取内容:动漫名称,搜索指数 3.概述:打开网址源文件分析并精确找到我们所需要的数据所在节点(标签),然后抓取数据保存后利用各种库进行数据可视化处理与数据分析 技术难点:各种库的使用和数据的分析 二.主题页面的结构特征分析 阅读全文
posted @ 2020-04-21 22:32 憨憨1 阅读(605) 评论(0) 推荐(0) 编辑
摘要: import requests from bs4 import BeautifulSoup import pandas as pd url = 'http://top.baidu.com/buzz?b=11&c=513&fr=topbuzz_b342_c513' headers = {'User-A 阅读全文
posted @ 2020-03-18 16:28 憨憨1 阅读(300) 评论(0) 推荐(0) 编辑