第五天

一、介绍

selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题

selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器

from selenium import webdriver

browser=webdriver.Chrome()

browser=webdriver.Firefox()

browser=webdriver.PhantomJS()

browser=webdriver.Safari()

browser=webdriver.Edge()

官网：http://selenium-python.readthedocs.io

二、安装

selenium+chromedriver

#安装：selenium+chromedriver

pip3 install selenium

下载chromdriver.exe放到python安装路径的scripts目录中即可，注意最新版本是2.29，并非2.9

国内镜像网站地址：http://npm.taobao.org/mirrors/chromedriver/2.29/

最新的版本去官网找:https://sites.google.com/a/chromium.org/chromedriver/downloads

#验证安装C:\Users\Administrator>python3

Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC v.1900 64 bit (AMD64)] on win32

Type "help", "copyright", "credits" or "license" for more information.>>> from selenium import webdriver>>> driver=webdriver.Chrome() #弹出浏览器>>> driver.get('https://www.baidu.com')>>> driver.page_source

#注意：

selenium3默认支持的webdriver是Firfox，而Firefox需要安装geckodriver

下载链接：https://github.com/mozilla/geckodriver/releases

selenium+phantomjs

#安装：selenium+phantomjs

pip3 install selenium

下载phantomjs，解压后把phantomjs.exe所在的bin目录放到环境变量

下载链接：http://phantomjs.org/download.html

#验证安装C:\Users\Administrator>phantomjs

phantomjs> console.log('egon gaga')

egon gaga

undefined

phantomjs> ^CC:\Users\Administrator>python3

Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC v.1900 64 bit (AMD64)] on win32

Type "help", "copyright", "credits" or "license" for more information.>>> from selenium import webdriver>>> driver=webdriver.PhantomJS() #无界面浏览器>>> driver.get('https://www.baidu.com')>>> driver.page_source

三、基本使用

from selenium import webdriverfrom selenium.webdriver import ActionChainsfrom selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTORfrom selenium.webdriver.common.keys import Keys #键盘按键操作from selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素

browser=webdriver.Chrome()try:

browser.get('https://www.baidu.com')

input_tag=browser.find_element_by_id('kw')

input_tag.send_keys('美女') #python2中输入中文错误，字符串前加个u

input_tag.send_keys(Keys.ENTER) #输入回车

wait=WebDriverWait(browser,10)

wait.until(EC.presence_of_element_located((By.ID,'content_left'))) #等到id为content_left的元素加载完毕,最多等10秒

print(browser.page_source)

print(browser.current_url)

print(browser.get_cookies())

finally:

browser.close()

四、选择器

1.基本用法

#官网链接：http://selenium-python.readthedocs.io/locating-elements.htmlfrom selenium import webdriverfrom selenium.webdriver import ActionChainsfrom selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTORfrom selenium.webdriver.common.keys import Keys #键盘按键操作from selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素import time

driver=webdriver.Chrome()

driver.get('https://www.baidu.com')

wait=WebDriverWait(driver,10)

try:

#===============所有方法===================

# 1、find_element_by_id

# 2、find_element_by_link_text # 严格匹配

# 3、find_element_by_partial_link_text # 部分匹配

# 4、find_element_by_tag_name

# 5、find_element_by_class_name

# 6、find_element_by_name

# 7、find_element_by_css_selector

# 8、find_element_by_xpath

# 强调：

# 1、上述均可以改写成find_element(By.ID,'kw')的形式

# 2、find_elements_by_xxx的形式是查找到多个元素，结果为列表

#===============示范用法===================

# 1、find_element_by_id

print(driver.find_element_by_id('kw'))

# 2、find_element_by_link_text

# login=driver.find_element_by_link_text('登录')

# login.click()

# 3、find_element_by_partial_link_text

# 4、find_element_by_tag_name

print(driver.find_element_by_tag_name('a'))

# 5、find_element_by_class_name

button=wait.until(EC.element_to_be_clickable((By.CLASS_NAME,'tang-pass-footerBarULogin')))

button.click()

# 6、find_element_by_name

input_user=wait.until(EC.presence_of_element_located((By.NAME,'userName')))

input_pwd=wait.until(EC.presence_of_element_located((By.NAME,'password')))

commit=wait.until(EC.element_to_be_clickable((By.ID,'TANGRAM__PSP_10__submit')))

input_user.send_keys('18611453110')

input_pwd.send_keys('lhf@094573')

commit.click()

# 7、find_element_by_css_selector

driver.find_element_by_css_selector('#kw')

# 8、find_element_by_xpath

time.sleep(5)

finally:

driver.close()

2.xpath

driver=webdriver.PhantomJS()

driver.get('https://doc.scrapy.org/en/latest/_static/selectors-sample1.html')# wait=WebDriverWait(driver,3)

driver.implicitly_wait(3) #使用隐式等待

try:

# find_element_by_xpath

#//与/

# driver.find_element_by_xpath('//body/a') # 开头的//代表从整篇文档中寻找,body之后的/代表body的儿子，这一行找不到就会报错了

driver.find_element_by_xpath('//body//a') # 开头的//代表从整篇文档中寻找,body之后的//代表body的子子孙孙

driver.find_element_by_css_selector('body a')

#取第n个

res1=driver.find_elements_by_xpath('//body//a[1]') #取第一个a标签

print(res1[0].text)

#按照属性查找,下述三者查找效果一样

res1=driver.find_element_by_xpath('//a[5]')

res2=driver.find_element_by_xpath('//a[@href="image5.html"]')

res3=driver.find_element_by_xpath('//a[contains(@href,"image5")]') #模糊查找

print('==>', res1.text)

print('==>',res2.text)

print('==>',res3.text)

#其他

res1=driver.find_element_by_xpath('/html/body/div/a')

print(res1.text)

res2=driver.find_element_by_xpath('//a[img/@src="image3_thumb.jpg"]') #找到子标签img的src属性为image3_thumb.jpg的a标签

print(res2.tag_name,res2.text)

res3 = driver.find_element_by_xpath("//input[@name='continue'][@type='button']") #查看属性name为continue且属性type为button的input标签

res4 = driver.find_element_by_xpath("//*[@name='continue'][@type='button']") #查看属性name为continue且属性type为button的所有标签

time.sleep(5)

finally:

driver.close()

3.获取标签属性

browser=webdriver.Chrome()

browser.get('https://www.amazon.cn/')

wait=WebDriverWait(browser,10)

wait.until(EC.presence_of_element_located((By.ID,'cc-lm-tcgShowImgContainer')))

tag=browser.find_element(By.CSS_SELECTOR,'#cc-lm-tcgShowImgContainer img')

#获取标签属性，

print(tag.get_attribute('src'))

#获取标签ID，位置，名称，大小（了解）

print(tag.id)

print(tag.location)

print(tag.tag_name)

print(tag.size)

browser.close()

五、等待元素被加载

#1、selenium只是模拟浏览器的行为，而浏览器解析页面是需要时间的（执行css，js），一些元素可能需要过一段时间才能加载出来，为了保证能查找到元素，必须等待

#2、等待的方式分两种：

隐式等待：在browser.get（'xxx'）前就设置，针对所有元素有效

显式等待：在browser.get（'xxx'）之后设置，只针对某个元素有效

隐式等待

browser=webdriver.Chrome()

#隐式等待:在查找所有元素时，如果尚未被加载，则等10秒

browser.implicitly_wait(10)

browser.get('https://www.baidu.com')

input_tag=browser.find_element_by_id('kw')

input_tag.send_keys('美女')

input_tag.send_keys(Keys.ENTER)

contents=browser.find_element_by_id('content_left') #没有等待环节而直接查找，找不到则会报错

print(contents)

browser.close()

显式等待

browser=webdriver.Chrome()

browser.get('https://www.baidu.com')

input_tag=browser.find_element_by_id('kw')

input_tag.send_keys('美女')

input_tag.send_keys(Keys.ENTER)

#显式等待：显式地等待某个元素被加载

wait=WebDriverWait(browser,10)

wait.until(EC.presence_of_element_located((By.ID,'content_left')))

contents=browser.find_element(By.CSS_SELECTOR,'#content_left')

print(contents)

browser.close()

六、元素交互操作

browser = webdriver.Chrome()

browser.get('https://www.taobao.com/')

browser.implicitly_wait(10)

try:

input_tag = browser.find_element_by_css_selector('#q')

input_tag.send_keys('iphone X')

btn = browser.find_elements_by_class_name('btn-search')[0]

btn.click() # 点击搜索按钮

time.sleep(5)

input_tag = browser.find_element_by_css_selector('#q')

input_tag.clear() # 清空搜索框的内容

input_tag.send_keys('mysql深入浅出')

btn = browser.find_elements_by_class_name('icon-btn-search')[0]

btn.click() # 点击搜索按钮

time.sleep(5)finally:

browser.close()

Action Chains

from selenium import webdriverfrom selenium.webdriver import ActionChainsfrom selenium.webdriver.common.by import By # 按照什么方式查找，By.ID,By.CSS_SELECTORfrom selenium.webdriver.common.keys import Keys # 键盘按键操作from selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWait # 等待页面加载某些元素import time

driver = webdriver.Chrome()

driver.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')

wait = WebDriverWait(driver,3)# driver.implicitly_wait(3) # 使用隐式等待

try:

driver.switch_to.frame('iframeResult') ##切换到iframeResult

sourse = driver.find_element_by_id('draggable')

target = driver.find_element_by_id('droppable')

print(sourse.text)

print(target.text)

#方式一：基于同一个动作链串行执行

actions = ActionChains(driver) #拿到动作链对象

actions.drag_and_drop(sourse, target) #把动作放到动作链中，准备串行执行

actions.perform()

#方式二：不同的动作链，每次移动的位移都不同

# ActionChains(driver).click_and_hold(sourse).perform()

# distance = target.location['x']-sourse.location['x']

# track = 0

# while track < distance:

# ActionChains(driver).move_by_offset(xoffset=2, yoffset=0).perform()

# track += 2

ActionChains(driver).release().perform()

time.sleep(5)finally:

driver.close()

在交互动作比较难实现的时候可以自己写JS（万能方法）

from selenium import webdriverimport time

try:

browser = webdriver.Chrome()

browser.get('https://www.baidu.com')

browser.execute_script('alert("hello world")') #打印警告

time.sleep(5)finally:

browser.close()

补充：frame的切换

#frame相当于一个单独的网页，在父frame里是无法直接查看到子frame的元素的，必须switch_to_frame切到该frame下，才能进一步查找

try:

browser=webdriver.Chrome()

browser.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')

browser.switch_to.frame('iframeResult') #切换到id为iframeResult的frame

tag1=browser.find_element_by_id('droppable')

print(tag1)

# tag2=browser.find_element_by_id('textareaCode') #报错，在子frame里无法查看到父frame的元素

browser.switch_to.parent_frame() #切回父frame,就可以查找到了

tag2=browser.find_element_by_id('textareaCode')

print(tag2)

finally:

browser.close()

七、其他

模拟浏览器的前进后退

#模拟浏览器的前进后退import timefrom selenium import webdriver

browser = webdriver.Chrome()

browser.get('https://www.baidu.com')

browser.get('https://www.taobao.com')

browser.get('https://www.imooc.com/')

browser.back() # 返回

time.sleep(2)

browser.forward() # 前进

time.sleep(2)

browser.close()

from selenium import webdriverimport time

browser = webdriver.Chrome()

browser.get('https://www.baidu.com')try:

print(browser.get_cookies())

browser.add_cookie({'name': 'foo', 'value': 'bar'})

print(browser.get_cookies())

browser.delete_all_cookies()

print(browser.get_cookies())

time.sleep(2)finally:

browser.close()

选项卡管理

import timefrom selenium import webdriver

browser = webdriver.Chrome()

browser.get('https://www.baidu.com') # 打开百度页面

browser.execute_script('window.open("https://www.taobao.com")') # 打开淘宝

print(browser.window_handles) #获取所有的选项卡

browser.switch_to.window(browser.window_handles[0]) # 切换到第一个选项卡

browser.get('https://www.imooc.com') # 打开淘宝

time.sleep(5)

browser.close()

异常处理

from selenium import webdriverfrom selenium.common.exceptions import TimeoutException,NoSuchElementException,NoSuchFrameException

try:

browser = webdriver.Chrome()

browser.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')

browser.switch_to.frame('iframeResult1')

except TimeoutException as e:

print('TimeoutException', e)except NoSuchFrameException as e:

print('NoSuchFrameException', e)finally:

browser.close()

posted on 2019-06-30 21:27 chengzi111 阅读(107) 评论(0) 收藏举报

刷新页面返回顶部

chengzi111

第五天

一、介绍

二、安装

三、基本使用

四、选择器

五、等待元素被加载

六、元素交互操作

七、其他

导航

公告