某宝

1、某宝反爬 某宝的反爬机制是非常完善的，在用selenium登陆某宝的时候发现某宝能检测到并弹出滑块，然后无论怎么滑动都通过不了，在经过一番搜索后发现很多网站对selenium都有检测机制，如检测是否存在特有标识 $cdc_asdjflasutopfhvcZLmcfl 、navigator.webdriver等。根据这条线索，可以在某宝的js里找到了相关的检测代码： 在控制台下输入window.navigator.webdriver会发现和正常的浏览器打开的有所不同

2、修改selenium

如果浏览器是正常打开的话，navigator.webdriver大的值应该是undefined或者false，如果为true说明能检测到selenium

设置开发者模式 此步骤很重要，设置为开发者模式，防止被各大网站识别出来使用了Selenium

from selenium.webdriver import ChromeOptionsoption = ChromeOptions()option.add_experimental_option('excludeSwitches', ['enable-automation'])#开启实验性功能browser=webdriver.Chrome(options=option)# 修改get方法script = '''Object.defineProperty(navigator, 'webdriver', {get: () => undefined})'''browser.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": script})
from selenium.webdriver import ChromeOptionsoption = ChromeOptions()option.add_experimental_option('excludeSwitches', ['enable-automation'])#开启实验性功能browser=webdriver.Chrome(options=option)# 修改get方法script = '''Object.defineProperty(navigator, 'webdriver', {get: () => undefined})'''browser.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": script})

修改浏览器的webdriver

原因发现以后怎么去解决这个问题就比较头疼了，针对这个问题的两个解决方案，编辑chromedriver发现cdc_asdjflasutopfhvcZLmcfl是chromedriver里面的一个变量名，我们只需要将这个变量名改成其他的就好了，变量名修改教程在《Can a website detect when you are using selenium with chromedriver?》

Mac版本的可以通过如下方法将 cdc_ 替换为 dog_ perl -pi -e 's/cdc_/dog_/g'

 /path/to/chromedriver//替换完成后查找下，如果查找不到说明替换成功了perl -ne 'while(/cdc_/g){print "$&\n";}' /path/to/chromedriver

Windows或者Linux版本可以利用Vim将 cdc_ 替换为 dog_ vim /path/to/chromedriver