会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
小橙子11
博客园
首页
新随笔
联系
订阅
管理
2022年1月4日
爬虫无头浏览器的伪装
摘要: 在爬虫过程中有些网站可以识别出你是通过浏览器访问还是爬虫程序访问网站,如果识别出使用的不是浏览器,则会禁止访问或者禁止该用户在网站上的其他行为,比如不允许登录等,这时我们需要继续获取数据就需要使用浏览器伪装技术。我们可以学习一些简单的浏览器防伪装技术,如设置 Header 信息中的 User-Age
阅读全文
posted @ 2022-01-04 16:37 小橙子11
阅读(384)
评论(0)
推荐(0)