scrapy-redis 爬虫实例：有缘网分布式爬虫

 搭建redis分布式环境见：centos-redis安装及分布连接

 

其实就是scrapy-redis 版 CrawlSpider 类，先写好CrawlSpider 类，然后再在其基础上修改

 1、scrapy startproject youyuanSpider

items.py

import scrapy

class YouyuanspiderItem(scrapy.Item):
    # define the fields for your item here like:
    name = scrapy.Field()   # 用户名
    age=scrapy.Field()   # 年龄
    hobby=scrapy.Field()   # 爱好
    header_url=scrapy.Field()   # 头像图片的链接
    image_url=scrapy.Field()   # 相册图片的链接
    content=scrapy.Field()  #内心独白
    place=scrapy.Field()   # 籍贯
    education=scrapy.Field()    # 学历
    source_url=scrapy.Field()   # 个人主页
    source=scrapy.Field()   # 数据来源网站

 

2、scrapy genspider -t crawl youyuan "www.youyuan.com"

spiders/youyuan.py  (使用scrapy-redis分布式时，1.2.3.4.5是需要修改的地方。只使用redis数据库存储不做分布式或不使用redis数据库，这些点不用修改)

# -*- coding: utf-8 -*-
import sys,os
sys.path.append(os.path.dirname(os.path.dirname(__file__)))
# from ..items import YouyuanspiderItem
from items import YouyuanspiderItem

import scrapy
from scrapy.linkextractors import LinkExtractor
# from scrapy.spiders import CrawlSpider, Rule
from scrapy.spiders import Rule
from scrapy_redis.spiders import RedisCrawlSpider    #1.导入RedisCrawlSpider类，不使用CrawlSpider
import re

# class YouyuanSpider(CrawlSpider):
class YouyuanSpider(RedisCrawlSpider):    #2.修改父类 RedisCrawlSpider
    name = 'youyuan'

    # 3. 取消 allowed_domains() 和 start_urls
    # allowed_domains = ['youyuan.com']
    # start_urls = ['http://www.youyuan.com/find/shanghai/mm18-30/advance-0-0-0-0-0-0-0/p1/']

    # 4. 增加redis-key
    redis_key = "youyuanSpider:start_urls"

    # 5. 增加__init__()方法，动态获取allowed_domains()
    def __init__(self, *args, **kwargs):
        # Dynamically define the allowed domains list.
        domain = kwargs.pop('domain', '')
        self.allowed_domains = filter(None, domain.split(','))
        super(YouyuanSpider, self).__init__(*args, **kwargs)

    page_links=LinkExtractor(allow=r"/find/shanghai/mm18-30/advance-0-0-0-0-0-0-0/p\d+/")
    profile_links=LinkExtractor(allow=r"/\d+-profile/")

    rules = (
        Rule(page_links),
        Rule(profile_links, callback='parse_item'),
    )

    def parse_item(self, response):
        item = YouyuanspiderItem()

        item['name']=self.get_name(response)
        item['age']=self.get_age(response)
        item['hobby']=self.get_hobby(response)
        item['header_url']=self.get_header_url(response)
        item['image_url']=self.get_image_url(response)
        item['content']=self.get_content(response)
        item['place']=self.get_place(response)
        item['education']=self.get_education(response)
        item['source_url']=response.url
        item['source']='youyuan'
        yield item

    def get_name(self,response):
        name=response.xpath("//dd/div/strong/text()").extract()
        if len(name):
            name=name[0].strip()
        else:
            name='NULL'
        return name

    def get_age(self,response):
        ages=response.xpath("//dd/p/text()").extract()
        if len(ages):
            # age=re.match(r'\w+\s\s(\d+岁)',ages[0]).group(1)  #获取年龄方法一
            # age=re.findall(r'\d+岁',ages[0])[0]   #获取年龄方法二
            age=ages[0].split(' ')[2]    #获取年龄方法三
        else:
            age='NULL'
        return age.strip()

    def get_hobby(self,response):
        hobbys=response.xpath("//dd/ol/li/text()").extract()
        if len(hobbys):
            hobby=','.join(hobbys).replace(' ','').replace('\xa0','')
        else:
            hobby='NULL'
        return hobby

    def get_header_url(self,response):
        header_url=response.xpath("//dt/img/@src").extract()
        if len(header_url):
            header_url=header_url[0]
        else:
            header_url = 'NULL'
        return header_url

    def get_image_url(self,response):
        image_url = response.xpath("//ul[@class='block_photo']/li/a/img/@src").extract()
        if len(image_url):
            image_url = image_url  #图片列表
        else:
            image_url = 'NULL'
        return image_url

    def get_content(self,response):
        content = response.xpath("//ul[@class='requre']/li[1]/p/text()").extract()
        if len(content):
            content = content[0].strip()
        else:
            content = 'NULL'
        return content

    def get_place(self,response):
        place = response.xpath("//div[@class='pre_data']/ul/li[2]//ol[1]/li[1]/span/text()").extract()
        if len(place):
            place = place[0]
        else:
            place = 'NULL'
        return place

    def get_education(self,response):
        education = response.xpath("//div[@class='pre_data']/ul/li[2]//ol[1]/li[3]/span/text()").extract()
        if len(education):
            education = education[0]
        else:
            education = 'NULL'
        return education

 

 3、pipelines.py（不使用redis时用到这个类）

import json

class YouyuanspiderPipeline(object):
    def process_item(self, item, spider):
        with open('youyuan.json','a') as f:
            f.write(json.dumps(dict(item),ensure_ascii=False)+',\n')
        return item

 

4、settings.py

#下面四行：使用本地redis或scrapy-redis分布式
# 使用了scrapy-redis里的去重组件，不使用scrapy默认的去重
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 使用了scrapy-redis里的调度器组件，不实用scrapy默认的调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 允许暂停，redis请求记录不丢失
SCHEDULER_PERSIST = True
# 使用队列形式
SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderQueue"

DEFAULT_REQUEST_HEADERS = {
  "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.54 Safari/536.5",
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Language': 'en',
}

SPIDER_MIDDLEWARES = {
   # 'youyuanSpider.middlewares.YouyuanspiderSpiderMiddleware': 543,
    'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': None,   #使用scrapy-redis分布式时，必须写这个，不然会报错 ：[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'www.youyuan.com': <GET http:/
}

ITEM_PIPELINES = {
   'youyuanSpider.pipelines.YouyuanspiderPipeline': 300,
   'scrapy_redis.pipelines.RedisPipeline' : 400,   #使用本地redis或scrapy-redis分布式
}

 

非分布式执行：

 

分布式执行：

1、在Master端启动redis-server服务和redis-cli数据库，在Slave端启动redis-cli数据库

Master端：

 

Slave端：

2. 在Master端或Slave端分别启动爬虫，不分先后：（这里只使用了Master端作为例子，Slave端是centos的linux环境，由于安装了python3.7.3，使用pip install scrapy时报错：ssl的问题，导致linux环境python 用不了，网上找了很多文章试了很多方法都没有解决，无奈暂时放弃了，有时间再弄这个吧）

 （PS：记得先进入E:\python_practice_ku\pachong\youyuanSpider\youyuanSpider\spiders>目录下）

 

虚拟机pip install scrapy报错如下，待解决：

 

3. 在Master端的redis-cli里push一个start_urls

4. 爬虫启动，查看redis数据库数据。

 

 

  参考：分布式案例-官方文档

 

将redis数据存入mongodb：

process_youyuan_profile.py

import json
import redis
import pymongo

def item_mongo():
    # 指定Redis数据库信息
    redisCli=redis.StrictRedis(host='127.0.0.1',port=6379)
    # 指定MongoDB数据库信息
    mongoCli=pymongo.MongoClient(host='127.0.0.1',port=27017)

    # 创建数据库名
    db=mongoCli['youyuan']
    # 创建表名
    sheet=db['shanghai_18_30']

    while True:
        # FIFO模式为 blpop，LIFO模式为 brpop，获取键值
        source,data=redisCli.blpop(['youyuan:items'])
        print(source)  #打印结果：youyuan:items'

        item=json.loads(data)
        sheet.insert_one(item)

        try:
            print("Processing: %(name)s <%(link)s>" % item)
        except KeyError:
            print("Error procesing: %r" % item)

if __name__ == '__main__':
    item_mongo()

 

 将redis数据存入mysql：

process_item_for_sql.py

import redis
import pymysql
import json

def item_mysql():
    # 指定redis数据库信息
    rediscli=redis.StrictRedis(host='127.0.0.1',port=6379)
    # 指定mysql数据库
    mysqlcli=pymysql.Connect(host='127.0.0.1',port=3306,user='root',password='mysql123',db='youyuan')

    offset=0
    while True:
        # FIFO模式为 blpop，LIFO模式为 brpop，获取键值
        source,data=rediscli.blpop(["youyuan:items"])
        item=json.loads(data)

        try:
            # 使用cursor()方法获取操作游标
            cur=mysqlcli.cursor()
            sql="insert into youyuan(name,age,hobby,header_url,image_url,content,place,education,source_url,source)  \
                values('{}','{}','{}','{}','{}','{}','{}','{}','{}','{}')".format(item['name'],item['age'],item['hobby'],item['header_url'],item['image_url'],item['content'],item['place'],item['education'],item['source_url'],item['source'])
            # 使用execute方法执行SQL INSERT语句
            cur.execute(sql)
            # 提交sql事务
            mysqlcli.commit()
            # 关闭本次操作
            cur.close()

            offset+=1
            print(offset)
        except pymysql.Error as e:
            print("Mysql Error : %s" %e)

if __name__ == '__main__':
    item_mysql()