scrapy爬取用户信息 ---崔志才

这个实例还是值得多次看的

其流程图如下，还是有一点绕的。

 

总结：

　　1 Requst(rul=' xxx ',callback= ' ')，仅仅发起 某个网页 的访问请求，没啥了。剩下的交给回调函数

　　2 parse_()。对 某个页面 经过下载后的 数据 进行处理，包括逻辑判断，有可能比较复杂，提取想要的数据等等。最终，返回item，或 Request对象，也可以两者都返回。 有的回调函数返回一个request对象，这个request对象调用本身这个回调函数。如：判断是否有下一页的情况就可以写成递归函数。猜想：这种情况下，肯定有条件判断，来终止递归的执行。

　　3 回调函数可以有很多个。回调函数也是函数，实现不同的功能，对不同的response执行不同的逻辑，所以肯定是有多个回调函数的。

　　4 同时，回调函数既然是函数，函数之间可以互相调用，回调函数之间同样也可以互相调用。

　　5 乍一看，回调函数可以回返回很多Request对象，不要慌，不要紧张，随他去，所有的request对象都叫个调度器管理。每个request都只是对某个页面的请求而已。request对象固然多，一个一个来，慢慢来。顺序是由调度器决定，一个request到了，经过下载器，然后在执行回调函数。这就是一个request的流程。走完后，它的功能已经实现了。

　　不要管回调函数返回的是啥，可能是item，也可能是request对象。这个时候这里的request对象是一个完全新的request对象，它有他自己的流程。它在调度器里等，直到调度器安排说，到你了，出来吧。

　　6 即便是用scrapy框架写，也最好思路明确。耦合性要低。别想着一个start_requests,一个paser就能搞定。

上代码

　　pipeline.py

　　文档中有现成的代码

　　稍微修改了下，理由upsert方法，实现对数据的去重。item本身就是一个字典。所以 {'$set':item}，是没有问题的。

import pymongo

class MongoPipeline(object):

    collection_name = 'userinfo'

    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DATABASE', 'items')
        )

    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]

    def close_spider(self, spider):
        self.client.close()

    def process_item(self, item, spider):
        # print(item)
        if item['url_token']:
            self.db[self.collection_name].update({'url_token':item['url_token']},{'$set':item},True)
        return item

　　zhihu.py

from scrapy import  Spider,Request
from zhihu.items import *
import json
class ZhihuUserinfoSpider(Spider):

    name = 'zhihu'
    allowed_domains = ['www.zhihu.com']
    # start_urls = ['http://www.zhihu.com/']
    start_user = 'https://www.zhihu.com/api/v4/members/{}?include=allow_message%2Cis_followed%2Cis_following%2Cis_org%2Cis_blocking%2Cemployments%2Canswer_count%2Cfollower_count%2Carticles_count%2Cgender%2Cbadge%5B%3F(type%3Dbest_answerer)%5D.topics'
    start_followee = 'https://www.zhihu.com/api/v4/members/{}/followees?offset={}&limit={}' # 随便填一个注册过的名字url_token，都是可以的。都会都json数据返回。
    def start_requests(self):
        '''
        对某个用户页面，对某个用户其关注者的页面发起请求。Request，只管发起请求，可以这样简单理解。
        :return:
        '''
        yield Request(url=self.start_user.format('valarmorghulis'),callback=self.parse_user)
        yield Request(url=self.start_followee.format('valarmorghulis',0,20),callback=self.parse_followees,)
    def parse_user(self,response):
        '''
        解析 页面--->某个用户信息进行解析。只管对拿到的response数据进行解析。哪个Request的回调函数是它，它就解析这个Request生成的数据。
        :param response:
        :return:
        '''
        result = json.loads(response.text)
        item = UserInfoItem()

        for field in item.fields:
            if field in result.keys():
                item[field] = result.get(field)
        yield item
        url_token = result.get('url_token')
        yield Request(url=self.start_followee.format(url_token,0,20),callback=self.parse_followees)
    def parse_followees(self,response):
        '''
        有时候回调函数就是自己，这个就是个很好的例子。
        解析某一页的数据，拿到用户的url_token,对每个url_token发起请求，调用self.parse_user。并判断是否有下一页。
        如果有，发起访问请求，拿到这一页数据，解析这一页数据。。。递归调用自己
        :param response:
        :return:
        '''
        result = json.loads(response.text)
        if result.get('data'):
            for data in result.get('data'):
                url_token = data.get('url_token')
                yield Request(url=self.start_user.format(url_token),callback=self.parse_user)
        if result.get('paging') and result.get('paging').get('is_end') == False:
            next = result.get('paging').get('next')
            yield Request(url=next,callback=self.parse_followees)

　　settings.py

　　user_agent肯定是要有的。

　　authorization 这应该就是反扒措施。服务器要求必须有的一个字段。如果没有，会报401错误。自己试了好久，没试出来。自己试了cookie，以及其它的一些key。长点心吧。

　　来源是百度的解释：

　　　　您的Web服务器认为，客户端（例如您的浏览器或我们的 CheckUpDown 机器人）发送的 HTTP 数据流是正确的，但进入网址 (URL) 资源 ， 需要用户身份验证 ， 而相关信息 1 ）尚未被提供, 或 2 ）已提供但没有通过授权测试。这就是通常所知的“ HTTP 基本验证 ”。 需客户端提供的验证请求在 HTTP 协议中被定义为 WWW – 验证标头字段 (WWW-Authenticate header field) 。

DEFAULT_REQUEST_HEADERS = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36',
    'authorization': 'Bearer 2|1:0|10:1523006417|4:z_c0|92:Mi4xU2lGZ0FBQUFBQUFBOE8taEQ2Um1EU1lBQUFCZ0FsVk4wWW0wV3dDcFItSkVsME8ycEs2SHRWaG9xdWJvY3VBdzRR|f54e22b627da25b200b9467fef2702fa0f57be6961389f62f4f0d39520f8fe1b',
}