Selenium

一。异常

1.selenium.common.exceptions.StaleElementReferenceException: Message: The element reference of <div class="deal-cnt"> is stale; either the element is no longer attached to the DOM, it is not in the current frame context, or the document has been refreshed

解决方法：

time.sleep(3)

需要等待页面更新即可

2.ElementNotVisibleException

显示等待
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#mainsrp-itemlist .items .item')))

WebDriverWait，配合该类的until()和until_not()方法进行的等待。它主要的意思就是：程序每隔xx秒看一眼，如果条件成立了，则执行下一步，否则继续等待，直到超过设置的最长时间，然后抛出TimeoutException。
调用方法如下：
WebDriverWait(driver, 超时时长, 调用频率, 忽略异常).until(可执行方法, 超时时返回的信息)

until()方法参数：
method: 在等待期间，每隔一段时间调用这个传入的方法，直到返回值不是False
message: 如果超时，抛出TimeoutException，将message传入异常

until 中参数method ,用expected_conditions类中的方法：
presence_of_element_located 判断某个元素是否被加到了dom树里
element_to_be_clickable 判断某个元素中是否可见并且是enable的，这样的话才叫clickable
text_to_be_present_in_element 判断某个元素中的text是否包含了预期的字符串
presence_of_all_elements_located: 判断是否至少有1个元素存在于dom树中。举个例子，如果页面上有n个元素的class都是'column-md-3'，那么只要有1个元素存在，这个方法就返回True

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
import re
browser=webdriver.Chrome()  #创建webdriver对象
wait=WebDriverWait(browser, 10)
def search():
    try:
        browser.get('https://www.taobao.com')#打开请求的url
        input = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR,'#q')))#等待搜索输入框加载完成
        input.send_keys("美食")#输入框中输入“美食”
        sumbit=wait.until(
            EC.element_to_be_clickable((By.CSS_SELECTOR,'#J_TSearchForm > div.search-button > button')))
        sumbit.click()
        total=wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.total')))
        return total.text
    except TimeoutException:
        return search

def main():
    total=search()
    total=int(re.compile('(\d+)').search(total).group(1))
    print (total)
if __name__=='__main__':
    main()

  输出结果： 
  100

 4.selenium.common.exceptions.UnexpectedAlertPresentException: Alert Text: None
Message: Dismissed user prompt dialog: 您的浏览器限制了第三方Cookie，这将影响您正常登录，您可以更改浏览器的隐私设置，解除限制后重试。

 

submit.send_keys(Keys.ENTER)#模拟回车

start_page_num = int(input('请输入你要 爬取 的起始页（1-100）：')):注意输入要转成int

切记抓取过程每页要暂停 4 秒，抓取的上限是 100 页。

 BeautifulSoap

　pyquery