zhangpd

摘要： 在我们请求的时候会遇见ua反爬我们可以用一个ua的列表来更换实现反扒 需要导入一个随机的方法import random class RandomUADownloaderMiddleware: def process_request(self, request, spider): ua_list = 阅读全文

摘要： 一.Requests库的安装 打开命令窗口执行命令 ： pip install requests 二.Requests主要方法 1.这里requests库的请求方法有很多下面我只介绍我常用的两种方法 requests.get（） 获取HTML网页的主要方法，对应HTTP的GET requests.p 阅读全文

摘要： 一.在学习之前我们需要了解爬虫的基本流程： 1.首先我们要向目标站点发送一个请求，其中包括请求头和请求体等。 2.然后页面会反馈给我们一个响应的内容，response包括了HTML、json，图片及视频等。 3.解释内容因为返回的response内容是数据我们要转换成我们需要的内容就需要对其进行解析 阅读全文