scrapy基础用法
本次爬虫用来爬取http://www.xbiquge.la中的小说
scrapy startproject biquge(项目名) 创建一个爬虫项目
目录结构：
./biquge/
|____ scrapy.cfg 用以记录当前项目的基础设置，settings的位置,，调度，项目名等
|____ biquge
|____ __init__.py 必须有
|____ items.py 写存储字段
|____ middlewares.py
|____ pipelines.py 管道文件
|____ settings.py 爬虫设置文件
|____ spiders
|____ __init__.py
Scrapy中启用IP：https://blog.csdn.net/qq_34798152/article/details/79944682
./biquge/biquge/settings.py字段：
BOT_NMAE：爬虫名
SPIDER_MOUDLES（NEWSPIDER_MOUDLE）：爬虫位置
ROBOTSTXT_OBEY：是否遵循网站的robots.txt协议
DOWNLOAD_DELAY：爬虫延时
CONCURRENT_REQUESTS：爬虫并发量（默认为16）
CONCURRENT_REQUESTS_PER_DOMAIN：如果目标域名较少，会提供并发请求数目的进一步限制
CONCURRENT_REQUESTS_PER_IP：如果设置了本属性，CURRENT_REQUESTS_PER_DOMAIN会被忽略，这时的限制会是针对IP的。
可把CONCURRENT_REQUESTS_PER_IP保持为默认值（0），金庸对每个IP的限制，再将CONCURRENT_REQUESTS+PER_DOMAIN设置为一个很大的值（10000）。这样设置实际上就仅用了这些限制，这样下载器的并发请求数目就只有CONCURRENT_REQUESTS来控制。
COOKIES_ENABLED：是否启用Cookie
TELNETCONSOLE_ENABLED：是否禁用Telent控制台
DEFAULT_REQUEST_HEADERS：默认请求标头
SPIDER_MIDDLEWARES：spider中间件设置
DOWNLOADER_MIDDLEWARES：下载器中间件设置
EXTENSIONS：扩展程序设置
ITEM_PIPELINES：项目管道设置
AUTOTHROTTLE_ENABLED：AutoThrottle扩展
AUTOTHROTTLE_START_DELAY：初始下载延迟
AUTOTHROTTLE_MAX_DELAY：高延迟情况下设置的最大延迟
更详细字段：https://blog.csdn.net/u011781521/article/details/70188171
在./biquge/biquge/items.py中写需要爬取的字段结构（这里只演示获取title与对应URL）：
1 import scrapy 2 3 class UrlItem(scrapy.Item): 4 title = scrapy.Field() 5 url = scrapy.Field()
./biquge目录下，scrapy genspider Scrn "www.xbiquge.la" 创建一个名为"Scrn"的爬虫，指定爬取范围为www.xbiquge.la
./biquge/biquge/spiders
|____ __init__.py
|____ Scrn.py 写爬虫逻辑的主要文件
./biquge/biquge/spiders/Scrn.py中字段：
1 import scrapy 2 from biquge.items import UrlItem #引入存储字段结构的Item类 3 4 class ScrnSpider(scrapy.Spider): 5 name = 'Scrn' #爬虫名，再命令行用scrapy crawl 爬虫名来执行爬虫 6 allowed_domains = ['http://www.xbiquge.la'] #爬虫的活动域 7 start_urls = ['http://www.xbiquge.la/10/10489/'] #爬虫的起始网址，一般为想要爬取的网页地址 8 9 def parse(self,response): #默认的爬虫解析函数 10 for each in response.xpath("//div[@id='list']/dl/dd"): #使用xpath解析获取需要的字段 11 item = UrlItem() 12 item['title'] = each.xpath("./a/text()").extract_first() #将解析的字段存入item 13 item['url'] = each.xpath("./a/@href").extract_first() 14 15 yield item #将item抛出给管道文件处理(Pipelines.py),需要在settings文件中设置
在./biquge/biquge/pipelines.py中编写处理item的逻辑：
1 import json 2 3 class UrlPipeline(object): 4 def __init__(self): 5 self.filename = open("Url.json","wb") #在初始化函数中打开存储数据的文件 6 def process_item(self, item, spider): #用于接收并处理item的方法 7 jsontext = json.dumps(dict(item),ensure_ascii=False)+"\n" #将传入的item用字典加载,再转为json,ensure_ascii=False用于输出中文 8 self.filename.write(jsontext.encode("utf-8")) #将转为json的字段写入文件 9 return item 10 def close_spider(self,spider): #关闭爬虫时执行 11 self.filename.close() #关闭文件
在./biquge/biquge/settings.py中启用管道文件：
1 ITEM_PIPELINES = { 2 'biquge.pipelines.UrlPipeline': 300, 3 }
总体来讲：
./biquge/biquge/items.py文件中定义字段结构
./biquge/biquge/pipelines.py文件中编写存储逻辑
./biquge/biquge/spiders/Scrn.py文件中编写爬取逻辑，并存储到item中，再抛出（from biquge.items import UrlItem）
./biquge/biquge/settings.py文件中设置Scrn.py与pipelines.py文件的连接（item）
