2022年11月7日
摘要: # produce端from loguru import logger from redis import StrictRedis class QuotesProduce: name = "start_urls" def __init__(self): self.redis_cli = Strict 阅读全文
posted @ 2022-11-07 20:19 不是霉蛋 阅读(19) 评论(0) 推荐(0)
摘要: 1 """ 2 配置 redis 3 安装 pip3 install scrapy-redis 4 修改scrapy项目(先正常实现scrapy爬虫): 5 """ 6 7 # 1 导入分布式爬虫类 8 from scrapy_ redis.spiders import RedisSpider, R 阅读全文
posted @ 2022-11-07 20:14 不是霉蛋 阅读(32) 评论(0) 推荐(0)