2019年10月30日
scrapy参数
摘要： 当Scrapy正常运行时，下载器是瓶颈。 在这种情况下，你会看到调度器中有一些请求，下载器中的并发请求数目已经达到最大值，而scraper（爬虫和pipeline）的负载较轻，正在处理的Response对象数目也不会一直增长。 主要有三个设置项来控制下载器的容量：CONCURRENT_REQUEST 阅读全文
posted @ 2019-10-30 20:37 达芬奇vinic 阅读(252) 评论(0) 推荐(0)
scrapy设置logger日志
摘要： 1、在settings中设置log级别，在settings.py中添加一行： LOG_LEVEL = 'WARNING' Scrapy提供5层logging级别: CRITICAL 严重错误 ERROR 一般错误 WARNING 警告信息 INFO 一般信息 DEBUG 调试信息 scrapy默认显 阅读全文
posted @ 2019-10-30 13:49 达芬奇vinic 阅读(1381) 评论(0) 推荐(0)