2019年12月12日
scrapy爬虫-scrapy-redis分布式
摘要： 1、如何将一个scrapy爬虫项目修改成为一个简单的分布式爬虫项目 官方文档：https://scrapy-redis.readthedocs.io/en/stable/ 只用修改scrapy项目的两个文件就可以了 一个是爬虫组件文件# -*- coding: utf-8 -*- import sc 阅读全文
posted @ 2019-12-12 16:04 找回失去的自我 阅读(963) 评论(0) 推荐(0)
python爬虫-scrapy日志
摘要： 1、scrapy日志介绍 Scrapy的日志系统是实现了对python内置的日志的封装 scrapy也使用python日志级别分类 logging.CRITICAL logging.ERROE logging.WARINING logging.INFO logging.DEBUG 2、如何在pyth 阅读全文
posted @ 2019-12-12 11:57 找回失去的自我 阅读(1509) 评论(0) 推荐(0)