会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
zhangpd
博客园
首页
新随笔
联系
订阅
管理
2023年9月12日
scrapy框架的user-agent替换列表
摘要: 在我们请求的时候会遇见ua反爬我们可以用一个ua的列表来更换实现反扒 需要导入一个随机的方法import random class RandomUADownloaderMiddleware: def process_request(self, request, spider): ua_list =
阅读全文
posted @ 2023-09-12 17:35 章叁理寺
阅读(33)
评论(0)
推荐(0)
2023年8月30日
Requsets库入门篇
摘要: 一.Requests库的安装 打开命令窗口执行命令 : pip install requests 二.Requests主要方法 1.这里requests库的请求方法有很多下面我只介绍我常用的两种方法 requests.get() 获取HTML网页的主要方法,对应HTTP的GET requests.p
阅读全文
posted @ 2023-08-30 16:04 章叁理寺
阅读(99)
评论(0)
推荐(0)
基础介绍篇
摘要: 一.在学习之前我们需要了解爬虫的基本流程: 1.首先我们要向目标站点发送一个请求,其中包括请求头和请求体等。 2.然后页面会反馈给我们一个响应的内容,response包括了HTML、json,图片及视频等。 3.解释内容因为返回的response内容是数据我们要转换成我们需要的内容就需要对其进行解析
阅读全文
posted @ 2023-08-30 16:03 章叁理寺
阅读(18)
评论(0)
推荐(0)
公告