2019年5月24日
scrapy中间件的应用
摘要： 一 . 先了解一下scrapy五大组件的工作流程 二 . 中间件的应用 从上图可以看出来,scrapy的工作流程中有两个中间件,分别是spider中间件,一个是Downloader中间件 这里我们先介绍一下Downloader中间件 爬虫文件(middle.py) middlewares.py 1 阅读全文
posted @ 2019-05-24 22:24 一个很善良的抱爱 阅读(395) 评论(0) 推荐(0) 编辑
爬虫之scrapy
摘要： 一 . scrapy框架的基本应用 安装步骤: 创建项目步骤: 打开爬虫文件 基于终端存储 执行这个文件 基于管道存储 爬虫文件(xiaohua.py) pipelines.py items.py 然后在终端执行 scrapy crawl xiaohua 就可以啦! 二 . 全站数据的请求 比如你想 阅读全文
posted @ 2019-05-24 13:07 一个很善良的抱爱 阅读(199) 评论(0) 推荐(0) 编辑