2019年6月22日

摘要: scrapy相关 一 Scrapy爬虫框架发送请求 > 获取响应数据 > 解析数据 > 保存数据 ** Scarpy框架介绍 ** 1、引擎(EGINE) 引擎负责控制系统所有组件之间的数据流,并在某些动作发生时触发事件。有关详细信息,请参见上面的数据流部分。 2、调度器(SCHEDULER) 用来 阅读全文
posted @ 2019-06-22 16:58 魔弦音奏 阅读(72) 评论(0) 推荐(0)
摘要: 课堂笔记 1、BeautifulSoup 解析库2、MongoDB 存储库3、requests-html 请求库 BeautifulSoup1、什么bs4,为什么要使用bs4? 是一个基于re开发的解析库,可以提供一些强大的解析功能。 提高提取数据的效率与爬虫开发效率。 2、安装与使用 pip3 i 阅读全文
posted @ 2019-06-22 16:54 魔弦音奏 阅读(134) 评论(0) 推荐(0)

导航