摘要: 原理图一 原理图二 Scrapy数据流是由执行的核心引擎(engine)控制,流程是这样的: 1、爬虫引擎获得初始请求开始抓取。 2、爬虫引擎开始请求调度程序,并准备对下一次的请求进行抓取。 3、爬虫调度器返回下一个请求给爬虫引擎。 4、引擎请求发送到下载器,通过下载中间件下载网络数据。 5、一旦下 阅读全文
posted @ 2018-10-25 16:40 扎心了,老铁 阅读(1291) 评论(0) 推荐(0) 编辑
摘要: 虚拟环境安装scrapy 在虚拟环境中执行命令 说明: 创建Scrapy项目 由于PyCharm工具无法创建scrapy项目,所以需要现在cmd中进行创建 创建EnterpriseSpider项目 按照给出的提示进行操作,其中www.ubaike.cn是红盾网的网址 之后使用PyCharm导入新创建 阅读全文
posted @ 2018-10-25 16:21 扎心了,老铁 阅读(1497) 评论(0) 推荐(0) 编辑
摘要: 为什么需要虚拟环境 在python开发中,我们可能会遇到一种情况:就是当前的项目依赖的是某一个版本,但是另一个项目依赖的是另一个版本,这样就会造成依赖冲突。在这种情况之下,我们就需要一个工具能够将这两种或几种不同版本的环境隔离开来,需要哪个版本就切换到哪个版本做为默认版本,让每个版本应用都各自拥有一 阅读全文
posted @ 2018-10-25 16:03 扎心了,老铁 阅读(1997) 评论(0) 推荐(0) 编辑