scrapy settings文件

1、并发数

CONCURRENT_REQUESTS = 32

并发数，即下载器的个数，默认16

2、缓存

HTTPCACHE_ENABLED = True

启动HTTP请求缓存，下次再遇到该url时，不再需要请求远程网站

3、启用cookie，debug cookie

COOKIES_ENABLED = True
COOKIES_DEBUG = True