scrapy CrawlSpiders-爬取url实例

一. 新建项目(scrapy startproject)

scrapy startproject wdzurlSpider

 

二、明确目标(wdzurlSpider/items.py)

import scrapy

class WdzurlspiderItem(scrapy.Item):
    # define the fields for your item here like:
    name = scrapy.Field()
    title=scrapy.Field()
    zan=scrapy.Field()

 

三、制作爬虫 （spiders/wdzurl.py）

　1、scrapy genspider -t crawl wdzurl "waduanzi.com"

scrapy shell调试：

 

 

***********************************************************************************************************************************

LinkExtractor调试：

scrapy shell "http://www.waduanzi.com/"

from scrapy.linkextractors import LinkExtractor

a=LinkExtractor(allow=('archives/\d+'))

a.extract_links(response)

b=LinkExtractor(allow=('archives/\d+$'))

b.extract_links(response)

   2、打开wdzurlSpider/spider目录里的 wdzurl.py，代码如下：

# -*- coding: utf-8 -*-

# 导入CrawlSpider类和Rule
from scrapy.spiders import CrawlSpider,Rule
# 导入链接规则匹配类，用来提取符合规则的连接
from scrapy.linkextractors import LinkExtractor
from ..items import WdzurlspiderItem

class WdzurlSpider(CrawlSpider):
    name = 'wdzurl'
    allowed_domains = ['waduanzi.com']
    start_urls = ['http://waduanzi.com/']

    # Response里链接的提取规则，返回的符合匹配规则的链接匹配对象的列表
    pagelink=LinkExtractor(allow=('archives/\d+$'))   #这里只爬取了第一页里面的所有符合该正则的链接

    rules=[
        # 获取这个列表里的链接，依次发送请求。当follow=True时，继续跟进，调用指定回调函数处理
        Rule(pagelink,callback="parseWdz",follow=False)  #该页面不需要再取链接，所以这里不用继续跟进
    ]

    # 指定的回调函数
    def parseWdz(self,response):
        item=WdzurlspiderItem()
        item['name']=response.xpath("//div[@class='post-author']/a/text()").extract()[0]

        #发现title有空值的情况，所以我才做了如下判断
        title=response.xpath("//div[@class='item-title']/h1/text()").extract()
        if len(title)==0:
            item['title'] =''
        else:
            item['title']=title[0]
        item['zan']=response.xpath("//div[@class='item-toolbar']/ul/li[1]/a/text()").extract()[0]

        yield item

    # def parse(self, response):  //不能用这个函数名
    #     pass

 

四、存储内容 （pipelines.py)

修改settings.py以下几个地方(可将日志打印在文件里)：

# 保存日志信息的文件名
LOG_FILE='wdzurllog.log'
# 保存日志等级，低于|等于此等级的信息都被保存
LOG_LEVEL='DEBUG'

DEFAULT_REQUEST_HEADERS = {
  "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36",
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Language': 'en',
}

ITEM_PIPELINES = {
   'wdzurlSpider.pipelines.WdzurlspiderPipeline': 300,
}

编写pipelines.py文件

import json

class WdzurlspiderPipeline(object):
    def process_item(self, item, spider):
        jsontext=json.dumps(dict(item),ensure_ascii=False)+',\n'
        with open('wdz.json','a') as f:
            f.write(jsontext)
        return item

命令执行：