会员
周边
新闻
博问
闪存
赞助商
YouClaw
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
柳帅
搏一搏
博客园
首页
新随笔
联系
订阅
管理
11 2019 档案
爬虫反爬
摘要:反爬技术: 1. UA反爬:携带ua,构建有效ua池;2. Ip限制:限制同一ip的访问频率,download_delay =8,代理ip;3. 数据藏在js脚本:一般使用re提取数据;4. ajax请求(动态数据):可以使用selenium或者pypepeer,但是效率太低,影响机器性能, 推荐直
阅读全文
posted @
2019-11-16 11:53
柳帅
阅读(375)
评论(0)
推荐(0)
公告
//替换成自己路径的js文件