摘要：先说结论，关闭scrapy自带的ROBOTSTXT_OBEY功能，在setting找到这个变量，设置为False即可解决。使用scrapy爬取淘宝页面的时候，在提交http请求时出现debug信息Forbidden by robots.txt，看来是请求被拒绝了。开始因为是淘宝页面有什么保密机制，防 阅读全文

摘要：启动特征很多，我们在上一篇文章已经介绍过。如何消除selenium启动特征呢？这个也是因站而异，如果规避常规的检测，做到以下2点就可以。 1 是消除window.navigator.webdriver的值； 2 是修改chromedriver.exe的源码，改掉$cdc_xxx的值（用同等数量字符替 阅读全文

摘要：前言selenium + webdriver 在登录淘宝时会出现反爬滑块，该滑块无论怎么滑也滑不成功，只会出现 哎呀，出错了，点击刷新再来一次 有两个问题存在，导致 selenium + webdriver 在登录时被检测出来一：淘宝页面加载的JS中有检测selenium的，如下图： 二：windo 阅读全文