摘要: 在我们请求的时候会遇见ua反爬我们可以用一个ua的列表来更换实现反扒 需要导入一个随机的方法import random class RandomUADownloaderMiddleware: def process_request(self, request, spider): ua_list = 阅读全文
posted @ 2023-09-12 17:35 章叁理寺 阅读(33) 评论(0) 推荐(0)
摘要: 一.Requests库的安装 打开命令窗口执行命令 : pip install requests 二.Requests主要方法 1.这里requests库的请求方法有很多下面我只介绍我常用的两种方法 requests.get() 获取HTML网页的主要方法,对应HTTP的GET requests.p 阅读全文
posted @ 2023-08-30 16:04 章叁理寺 阅读(99) 评论(0) 推荐(0)
摘要: 一.在学习之前我们需要了解爬虫的基本流程: 1.首先我们要向目标站点发送一个请求,其中包括请求头和请求体等。 2.然后页面会反馈给我们一个响应的内容,response包括了HTML、json,图片及视频等。 3.解释内容因为返回的response内容是数据我们要转换成我们需要的内容就需要对其进行解析 阅读全文
posted @ 2023-08-30 16:03 章叁理寺 阅读(18) 评论(0) 推荐(0)