爬虫-Scrapy （六） 模拟登录

开始写模拟登录，很复杂，先写个最简单的。

1.不登录抓取主页

现在找一个简单提交form表单登录的网站也不好找，这次用内网部署的Azkaban管理平台做个示例。

首先打开登录页面，是这样的

 

输入账号，密码登录后，会自动跳转到主页，是这样的

 

 

 

 

 

先记下主页的url，https://域名/index， 然后退出登录，粘贴主页的地址，访问，这时候会发现自动跳转到了 登录页面，无法访问到主页的信息。
这就是后台限定了必须登录后才可以查看主页，此时想要爬取主页信息时必须先模拟登录。

新生成1个爬虫，试下不登录的爬取效果

import scrapy


class LoginSpider(scrapy.Spider):
    name = 'LoginSpider'
    start_urls = ['https://域名/index'] # 要爬取的主页

    def parse(self, response):
        print(response.body.decode())

运行看下效果
很明显，返回的reponse 是登录页面

 

 

 

 2.模拟登录

先做个登录操作，然后用浏览器查看下提交的内容

 

 

 post请求，提交的form，账号，密码分别是 username 和 password，非常清晰。

重写Spider的start_request方法， 把账号和密码加进去

import scrapy


class LoginSpider(scrapy.Spider):
    name = 'LoginSpider'

    # 发送post请求登录
    def start_requests(self):
        log_url = 'https://域名/login'
        formdata = {
            'action':'login',
            'username':'登录账号',
            'password':'登录密码'
        }
        yield scrapy.FormRequest(log_url, formdata=formdata, callback=self.parse)

    # 查看登录后返回
    def parse(self, response):
        print(response.body.decode())

运行，查看结果
{
  "session.id" : "f5a68741-3ec3-4d14-b896-9ea1b2e25470",
  "status" : "success"
}

登录成功