【学习笔记】Scrapy

　　刚刚接触Scrapy

　　根据书上的内容做练习

　　爬取书上的链接里的书本信息

　　

import scrapy
class FuzxSpider(scrapy.Spider):
    name = "Fuzx"
    start_urls=['http://books.toscrape.com/']
    def parse(self, response):
        for book in response.css('article.product_pod'):
            name=book.xpath('./h3/a/@title').extract_first()
            price=book.css('p.price_color::text').extract_first()
            yield {
                'name':name,
                'price':price,
            }
        next_url=response.css('ul.pager li.next a::attr(href)').extract_first()
        if next_url:
            next_url=response.urljoin(next_url)
            yield scrapy.Request(next_url,callback=self.parse)

 

　　命令：scrapy crawl Fuzx -o fuzx.csv

　　将内容保存在fuzx.csv里

　　

　　看样子爬成功了

　　延伸一下 网上说练爬虫豆瓣比较容易

　　我打开的是豆瓣阅读的小说界面 https://read.douban.com/kind/100

　　爬取图书名和作者

　　

 

　　然后改了css选择器的内容

　　报错403

　　然后我加了个User-Agent

　　第二次出现问题的地方是在这里有空格

　　

for book in response.css('li.item.store-item'):

　　参考别人的文章，可以用上面这种写法

　　完整代码：

import scrapy
class DoubSpider(scrapy.Spider):
    name = "doub"
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0',
    }
    def start_requests(self):
        url = 'https://read.douban.com/kind/100'
        yield scrapy.Request(url, headers=self.headers)

    def parse(self, response):
        for book in response.css('li.item.store-item'):
            name=book.css('div.title a::text').extract_first()
            author=book.css('p span.labeled-text a.author-item::text').extract_first()
            yield {
                'name':name,
                'author':author,
            }
        next_url=response.css('div.pagination li.next a::attr(href)').extract_first()
        if next_url:
            next_url=response.urljoin(next_url)
            yield scrapy.Request(next_url,headers=self.headers,callback=self.parse)

　　然后scrapy crawl doub -o db.csv

　　爬完查看db.csv