scrapy（一）

 

创建scrapy项目

命令：scrapy startproject dirctory_name

 

可以发现在tm_spider目录下创建了一个文件夹：spider_402,文件夹结构如下

 

 

 

定义一个spiders爬虫class(类) ，该class是scrap.Spider的subclass(子类)。 在这个sipders class里面，要定义初始的request,需要进行爬虫的URL以及解析该URL网页获取数据。

 

 

import scrapy


class QuotesSpider(scrapy.Spider):
    name = "quotes" #标识爬虫，在项目里面是唯一的，

#start_requests:返回Spider将开始抓取的请求的迭代,随后的请求将从这些初始请求中连续生成
    def start_requests(self):
        urls = [
            'http://quotes.toscrape.com/page/1/',
            'http://quotes.toscrape.com/page/2/',
        ]
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        page = response.url.split("/")[-2]
        filename = 'quotes-%s.html' % page
        with open(filename, 'wb') as f:
            f.write(response.body)
        self.log('Saved file %s' % filename)

 

 

 

 

 在项目的根目录下执行命令   scrapy crawl quotes

 

 

 

 

 

 

 用scrapy的shell命令抓取网页

scrapy shell "http://quotes.toscrape.com/page/1/"

 

 使用response对象的css关键字选择元素，它的返回值是选择器的列表。

 

 

 ::text取到title标签的文字内容

 

 

 如果不带::text，就会把标签元素一起拿下来

   extract()函数返回的是一个list类型的数据，如果要去第一个元素，可以用extract_first()