摘要: 天气后报网——数据爬取(多线程) 一、爬取数据 1.确定爬虫要获取的数据 2016年-2020年全国363个城市每天的天气情况(城市名、日期、天气状况、气温、风力风向) 2.爬取的网站 天气后报网(http://www.tianqihoubao.com/lishi) 3.要使用的技术 (网络库lre 阅读全文
posted @ 2021-04-20 23:04 chyhoo 阅读(326) 评论(1) 推荐(0) 编辑
摘要: 天气后报网——数据爬取(Scrapy框架) 1.创建天气后报网爬虫 在开始编程之前,我们首先要根据项目需求对天气后报网站进行分析。目标是提取2016-2020年每个城市的每天的温度、天气状况、风力风向等数据。首先来到天气后报网(http://www.tianqihoubao.com/lishi/)。 阅读全文
posted @ 2021-04-20 22:53 chyhoo 阅读(202) 评论(1) 推荐(0) 编辑