2019年9月16日
05.scrapy框架的UA池和代理池
摘要： 一:下载中间件 scrapy框架图 下载中间件(Downloader Middlewares)位于scrapy引擎和下载器之间的一层 作用: 1.引擎将请求传递给下载器过程中,下载中间件可以对请求进行一系列处理.比如设置请求的User-Agent,设置代理等 2.在下载器完成将response传递给 阅读全文
posted @ 2019-09-16 00:36 扎西德勒119 阅读(209) 评论(0) 推荐(0) 编辑
04scrapy框架的日志等级和请求传参
摘要： 一.scrapy的日志等级 -在使用scrapy crawl spiderFileName运行程序时,在终端打印输出的就是scrapy的日志信息. -日志信息的种类: ERROR:一般错误 WARNING:警告 INFO:一般的信息 DEBUG: 调试信息 -在设置日志信息指定输出: 在settin 阅读全文
posted @ 2019-09-16 00:25 扎西德勒119 阅读(160) 评论(0) 推荐(0) 编辑
03.scrapy框架之递归解析和post请求
摘要： 1.递归爬取解析多页页面数据 -需求:将糗事百科页面的作业和段子内容数据进行爬取持久化存储 -需求分析:每一个页面对应一个url,则scrapy工程需要对每一个页面对应的url依次发起请求,然后通过对应的解析方法进行作者和段子内容的解析 实现方法: 1.将每一个页面对应的url存放到爬取文件的其实u 阅读全文
posted @ 2019-09-16 00:07 扎西德勒119 阅读(161) 评论(0) 推荐(0) 编辑