Scrapy爬虫的优化

依靠scrapy提供的相关参数进行优化

                                                           setting.py文件

选项	说明
CONCURRENT_REQUESTS	Downloader最大并发请求下载树立，默认32
CONCURRENT_ITEMS	Item Pipeline最大并发ITEM处理数量，默认100
CONCURRENT_REQUESTS_PER_DOMAIN	每个目标域名最大的并发请求数量，默认8
CONCURRENT_REQUESTS_PER_IP	每个目标IP最大的并发请求数量，默认0，非0有效

通过修改参数进行优化