python爬虫入门（4）----- selenium

selenium

简介

selenium使用JavaScript模拟真实用户对浏览器进行操作。测试脚本执行时，浏览器自动按照脚本代码做出点击，输入，打开，验证等操作，就像真实用户所做的一样，从终端用户的角度测试应用程序。

与python集成

from selenium import webdriver

driver = webdriver.Firefox()

driver.get("http://www.baidu.com")
driver.find_element_by_id("kw").send_keys("selenium")
driver.find_element_by_id("su").click()
driver.quit()

selenium可以操纵各大主流浏览器chrome、firefox、ie等等，但需要下载相应的驱动包
chrome： http://chromedriver.storage.googleapis.com/index.html
firefox：https://github.com/mozilla/geckodriver/releases/
ie：http://selenium-release.storage.googleapis.com/index.html

webdriver（即：浏览器对象）基本使用方法

1. 打开关闭标签页

   打开

   def get(self, url)

   关闭

   def close(self)

   退出浏览器

   def quit(self)

2. 设置浏览器宽高

   def set_window_size(self, width, height, windowHandle='current'):
   """
   Sets the width and height of the current window. (window.resizeTo)

   :Args:
   - width: the width in pixels to set the window to
   - height: the height in pixels to set the window to

   :Usage:
   driver.set_window_size(800,600)
   """

3. 对象定位
   #通过id方式定位
   driver.find_element_by_id("kw")

   通过name方式定位

   driver.find_element_by_name("wd")

   通过tag name方式定位

   driver.find_element_by_tag_name("input")

   通过class name 方式定位

   driver.find_element_by_class_name("s_ipt")

   通过CSS方式定位

   driver.find_element_by_css_selector("#kw")

   通过xphan方式定位

   driver.find_element_by_xpath("//input[@id='kw']")

   通过link方式定位

   driver.find_element_by_link_text("贴 吧")

   Partial Link Text 定位

   driver.find_element_by_partial_link_text("贴")

   通过by指定方法类型定位

   driver.find_element(By.ID, 'foo')

4. 定位一组元素

   与上面类似加上s，但上面会抛出NoSuchElementException，下面找不到则返回empty list

   通过by指定方法类型定位

   driver.find_elements(By.ID, 'foo')

5. 框架和窗口定位

   def switch_to(self):
   """
   :Returns:
   - SwitchTo: an object containing all options to switch focus into

   :Usage:
   element = driver.switch_to.active_element
   alert = driver.switch_to.alert
   driver.switch_to.default_content()
   driver.switch_to.frame('frame_name')
   driver.switch_to.frame(1)
   driver.switch_to.frame(driver.find_elements_by_tag_name("iframe")[0])
   driver.switch_to.parent_frame()
   driver.switch_to.window('main')
   """

6. 执行js

   def execute_script(self, script, *args):
   """
   Synchronously Executes JavaScript in the current window/frame.

   :Args:
   - script: The JavaScript to execute.
   - *args: Any applicable arguments for your JavaScript.

   :Usage:
   driver.execute_script('return document.title;')
   """

   def execute_async_script(self, script, *args):
   """
   Asynchronously Executes JavaScript in the current window/frame.

   :Args:
   - script: The JavaScript to execute.
   - *args: Any applicable arguments for your JavaScript.

   :Usage:
   script = "var callback = arguments[arguments.length - 1]; "
   "window.setTimeout(function(){ callback('timeout') }, 3000);"
   driver.execute_async_script(script)
   """

webelement（元素）基本使用方法

1. 点击

   driver.find_element_by_id("su").click()
   driver.find_element_by_id("su").submit()

2. 输入文本

   driver.find_element_by_id("kw").send_keys("xxx")

3. 获取属性/文本

   driver.find_element_by_id("kw").text()
   driver.find_element_by_id("kw").get_attribute()
   driver.find_element_by_id("kw").get_property()

4. 层次定位

   与webdiriver操作一样，可以以当前元素为父元素查找子元素

   parent = driver.find_element(By.ID, 'parent')
   parent.find_element(By.ID, 'child')