blackball9  

2019年11月24日

关于爬虫的常见反爬及处理方式
摘要： 1.robots协议：在scrapy中会用到，设置False即可 2.UA检测：访问时headers中携带user-agent参数即可 3.模拟登陆中验证码的检测：这个稍微的麻烦一些，有的时候这些验证码会set-cookie，每次刷新每次变动cookie，这种使用save_screensot对整张页 阅读全文
posted @ 2019-11-24 17:11 blackpearl9 阅读(647) 评论(0) 推荐(0)
 
博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3