摘要: 一、主题式网络爬虫设计方案 1.主题式网络爬虫名称: 爬取全国空气质量指数2.主题式网络爬虫爬取的内容与数据特征分析:主要爬取 全国空气质量最好城市排名和全国空气质量最差城市排名 3.主题式网络爬虫设计方案概述(包括实现思路与技术难点) 实现思路为先对网页源代码分析,用BeautifulSoup对数 阅读全文
posted @ 2020-04-22 21:52 ahawn 阅读(1751) 评论(0) 推荐(0) 编辑
摘要: import requestsfrom lxml import etreeimport reimport pandas as pdimport osurl='https://tophub.today/n/74KvxwokxM'header={'User-Agent':""}def get(url): 阅读全文
posted @ 2020-03-21 18:18 ahawn 阅读(425) 评论(0) 推荐(0) 编辑