爬虫之selenium和webdriver—基础（四）：操作cookie和显式等待与隐式等待

 

一、操作cookie

from selenium import webdriver

driver_path = 'D:\chromedriver\chromedriver.exe'
driver = webdriver.Chrome(executable_path=driver_path)
driver.get('https://www.baidu.com')

# 1、获取所有的cookie，get_cookies; 获取一个cookie，get_cookie
for cookie in driver.get_cookies():
    print(cookie)
    
# 2、根据cookie的key获取value
print(driver.get_cookie('PSTM'))

# 3、删除所有的cookie
driver.delete_all_cookies()

# 4、删除某个cookie
driver.delete_cookie('PSTM')

二、显式等待和隐式等待

访问采用Ajax技术的页面的时候，程序不能确定某个元素何时能完全加载出来，如果实际页面等待时间过长导致某个元素还没出来，但是程序直接使用了这个webElement，那么就会抛出NullPointer的异常。为了解决这个问题，所以selenium 提供了两种等待方式：显式等待和隐式等待

1、隐式等待：调用driver.implicity_wait。在获取不可用元素之前，会先等待10s（预设）。

from selenium import webdriver

driver_path = 'D:\chromedriver\chromedriver.exe'
driver = webdriver.Chrome(executable_path=driver_path)
driver.get('https://www.baidu.com')

driver.implicitly_wait(10)  #隐式等待，预设等待时间为10s
driver.find_element_by_id('dsfew') #如果10s后还没有获取到dsfew这个id，那么久抛出异常

 

2、显式等待：显式等待是表明某个条件成立后才知晓获取元素的操作。也可以在等待的时候指定一个最大的时间，如果超过这个时间那么抛出一个异常。显示等待应该使用selenium.webdriver.support.exceptes_conditions期望的条件和selenium.webdriver.support.ui.WebDriverWait来配合完成。

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

driver_path = 'D:\chromedriver\chromedriver.exe'
driver = webdriver.Chrome(executable_path=driver_path)
driver.get('https://www.baidu.com')

# 最大等待时间为10s，如果5s时id为sdfsdf被找到，就直接返回，不会等待10s。如果10s后还没找到，就抛出异常
#until里面是期待的条件，也就是需要被找到的元素
WebDriverWait(driver,10).until(
    EC.presence_of_element_located((By.ID,'sdfsdf'))
)

显式等待和隐式等待的区别是：

隐式等待不管元素被找到与否，都会等待预设的时间。

显式等待如果找到元素时还没有到预设的时间，那么剩下的时间就不会继续等待。例如：预设等待10s，但是在第5s的时候元素被找到，那么剩下的5秒就不会等待了。