随笔分类 -  scarpy

scrapy-redis的搭建 分布式爬虫 去重
摘要：master：一、spider文件1.需要更改继承的类from scrapy_redis.spiders import RedisSpider 2.注释掉start_urls 3.在爬虫目录下新创建一个redis_urls.py文件，放所有的URL到redis数据库的列表中 4.回到爬虫文件中，写一 阅读全文
posted @ 2021-07-14 17:55 python包包侠 阅读(418) 评论(0) 推荐(0)
scrapy 配置文件的详细描述
摘要：# 项目名称 BOT_NAME = 'anjvke' # 爬虫文件所在目录 SPIDER_MODULES = ['anjvke.spiders'] # 创建爬虫文件的模板，创建好的爬虫文件会放在此目录下 NEWSPIDER_MODULE = 'anjvke.spiders' # Crawl resp 阅读全文
posted @ 2021-06-22 14:48 python包包侠 阅读(140) 评论(0) 推荐(0)

1