爬虫_scrapy_post请求

 

import json

import scrapy


class TestpostSpider(scrapy.Spider):
    name = 'testpost'
    allowed_domains = ['fanyi.baidu.com']
    # post请求如果没有参数那么这个请求将没有任何意义
    # 所以start_urls也没有用了
    # parse方法也没有用了
    # start_urls = ['http://fanyi.baidu.com/']

    # def parse(self, response):
    #     pass
    # post请求必须使用start_requests
    def start_requests(self):
        url='https://fanyi.baidu.com'
        data={
            'kw':'final'
        }
        # ForRequest是post请求
        yield scrapy.FormRequest(url=url,formdata=data,callback=self.parse_second)
    def parse_second(self,response):
        content = response.text
        obj=json.loads(content)
        print(obj)