win:
1. 下载 Twisted-18.4.0-cp36-cp36m-win_amd64.whl
2. pip3 install wheel
3. pip3 install Twisted-18.4.0-cp36-cp36m-win_amd64.whl
4. pip3 install pywin32
5. pip3 install scrapy
mac:
pip3 install scrapy
1.scrapy startproject 项目名称
- 在当前目录中创建中创建一个项目文件（类似于Django）
2. scrapy genspider [-t template] <name> <domain>
- 创建爬虫应用
ps:查看所有命令：scrapy gensipider -l
查看模板命令：scrapy gensipider -d 模板名称
3. scrapy list
- 展示爬虫应用列表
4. scrapy crawl 爬虫应用名称
- 运行单独爬虫应用
settings的基本配置
1. scrapy crawl chouti --nolog
2. 找到 SCHEDULER = "scrapy_redis.scheduler.Scheduler" 配置并实例化调度器对象
- 执行Scheduler.from_crawler
- 执行Scheduler.from_settings
- 读取配置文件：
SCHEDULER_PERSIST # 是否在关闭时候保留原来的调度器和去重记录，True=保留，False=清空
SCHEDULER_FLUSH_ON_START # 是否在开始之前清空 调度器和去重记录，True=清空，False=不清空
SCHEDULER_IDLE_BEFORE_CLOSE # 去调度器中获取数据时，如果为空，最多等待时间（最后没数据，未获取到）。
- 读取配置文件：
SCHEDULER_QUEUE_KEY # %(spider)s:requests
SCHEDULER_QUEUE_CLASS # scrapy_redis.queue.FifoQueue
SCHEDULER_DUPEFILTER_KEY # '%(spider)s:dupefilter'
DUPEFILTER_CLASS # 'scrapy_redis.dupefilter.RFPDupeFilter'
SCHEDULER_SERIALIZER # "scrapy_redis.picklecompat"
- 读取配置文件：
REDIS_HOST = '140.143.227.206' # 主机名
REDIS_PORT = 8888 # 端口
REDIS_PARAMS = {'password':'beta'} # Redis连接参数 默认：REDIS_PARAMS = {'socket_timeout': 30,'socket_connect_timeout': 30,'retry_on_timeout': True,'encoding': REDIS_ENCODING,}）
REDIS_ENCODING = "utf-8"
- 示例Scheduler对象
3. 爬虫开始执行起始URL
- 调用 scheduler.enqueue_requests()
def enqueue_request(self, request):
# 请求是否需要过滤？
# 去重规则中是否已经有？（是否已经访问过，如果未访问添加到去重记录中。）
if not request.dont_filter and self.df.request_seen(request):
self.df.log(request, self.spider)
# 已经访问过就不要再访问了
return False
if self.stats:
self.stats.inc_value('scheduler/enqueued/redis', spider=self.spider)
# print('未访问过，添加到调度器', request)
self.queue.push(request)
return True
4. 下载器去调度器中获取任务，去下载
- 调用 scheduler.next_requests()
def next_request(self):
block_pop_timeout = self.idle_before_close
request = self.queue.pop(block_pop_timeout)
if request and self.stats:
self.stats.inc_value('scheduler/dequeued/redis', spider=self.spider)
return request
"""
5. 自动限速算法
from scrapy.contrib.throttle import AutoThrottle
自动限速设置
1. 获取最小延迟 DOWNLOAD_DELAY
2. 获取最大延迟 AUTOTHROTTLE_MAX_DELAY
3. 设置初始下载延迟 AUTOTHROTTLE_START_DELAY
4. 当请求下载完成后，获取其"连接"时间 latency，即：请求连接到接受到响应头之间的时间
5. 用于计算的... AUTOTHROTTLE_TARGET_CONCURRENCY
target_delay = latency / self.target_concurrency
new_delay = (slot.delay + target_delay) / 2.0 # 表示上一次的延迟时间
new_delay = max(target_delay, new_delay)
new_delay = min(max(self.mindelay, new_delay), self.maxdelay)
slot.delay = new_delay
"""
6.# ############### scrapy redis连接 ####################
REDIS_HOST = '140.143.227.206' # 主机名
REDIS_PORT = 8888 # 端口
REDIS_PARAMS = {'password':'beta'} # Redis连接参数 默认：REDIS_PARAMS = {'socket_timeout': 30,'socket_connect_timeout': 30,'retry_on_timeout': True,'encoding': REDIS_ENCODING,}）
REDIS_ENCODING = "utf-8" # redis编码类型 默认：'utf-8'
# REDIS_URL = 'redis://user:pass@hostname:9001' # 连接URL（优先于以上配置）
################ 去重 ######################
DUPEFILTER_KEY = 'dupefilter:%(timestamp)s'
DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'
# ###################### 调度器 ######################
from scrapy_redis.scheduler import Scheduler
# 由scrapy_redis的调度器来进行负责调配
# enqueue_request: 向调度器中添加任务
# next_request: 去调度器中获取一个任务
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 规定任务存放的顺序
# 优先级
DEPTH_PRIORITY = 1 # 广度优先
# DEPTH_PRIORITY = -1 # 深度优先
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.PriorityQueue' # 默认使用优先级队列（默认），其他：PriorityQueue（有序集合），FifoQueue（列表）、LifoQueue（列表）
# 广度优先
# SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.FifoQueue' # 默认使用优先级队列（默认），其他：PriorityQueue（有序集合），FifoQueue（列表）、LifoQueue（列表）
# 深度优先
# SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.LifoQueue' # 默认使用优先级队列（默认），其他：PriorityQueue（有序集合），FifoQueue（列表）、LifoQueue（列表）
"""
redis = {
chouti:requests:[
pickle.dumps(Request(url='Http://wwwww',callback=self.parse)),
pickle.dumps(Request(url='Http://wwwww',callback=self.parse)),
pickle.dumps(Request(url='Http://wwwww',callback=self.parse)),
],
cnblogs:requests:[
]
}
"""
SCHEDULER_QUEUE_KEY = '%(spider)s:requests' # 调度器中请求存放在redis中的key
SCHEDULER_SERIALIZER = "scrapy_redis.picklecompat" # 对保存到redis中的数据进行序列化，默认使用pickle
SCHEDULER_PERSIST = False # 是否在关闭时候保留原来的调度器和去重记录，True=保留，False=清空
SCHEDULER_FLUSH_ON_START = True # 是否在开始之前清空 调度器和去重记录，True=清空，False=不清空
# SCHEDULER_IDLE_BEFORE_CLOSE = 10 # 去调度器中获取数据时，如果为空，最多等待时间（最后没数据，未获取到）。
SCHEDULER_DUPEFILTER_KEY = '%(spider)s:dupefilter' # 去重规则，在redis中保存时对应的key
SCHEDULER_DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter' # 去重规则对应处理的类
START_URLS_KEY = '%(name)s:start_urls'
REDIS_START_URLS_AS_SET = False
浙公网安备 33010602011771号