selenium

一、安装selenium和chromedriver

安装 selenium
pip install selenium

# 下载chromedriver
1.找到谷歌浏览器对应的版本下载
http://chromedriver.chromium.org/downloads  

2.将exe文件放到python的Scripts下

 

二、安装PhantomJS

# 1.下载PhantomJS
http://phantomjs.org/download

# 解压后将exe文件放到Python的Scripts文件夹下即可

 

三、介绍

selenium最初是一个测试工具，而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题

selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器

from selenium import webdriver

browser1 = webdriver.Chrome()        # 驱动谷歌浏览器
browser2 = webdriver.Firefox()       # 驱动火狐浏览器
browser3 = webdriver.Safari()        # 驱动Safari浏览器
browser4 = webdriver.Edge()          # 驱动Edge浏览器
browser5 = webdriver.PhantomJS()     # 无窗口浏览器

 

四、基本使用