会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
zhangpd
博客园
首页
新随笔
联系
订阅
管理
2023年9月12日
scrapy框架的user-agent替换列表
摘要: 在我们请求的时候会遇见ua反爬我们可以用一个ua的列表来更换实现反扒 需要导入一个随机的方法import random class RandomUADownloaderMiddleware: def process_request(self, request, spider): ua_list =
阅读全文
posted @ 2023-09-12 17:35 章叁理寺
阅读(33)
评论(0)
推荐(0)
公告