爬虫之selenium的使用

selenium模块的基本使用
    问题:selenium模块和爬虫之间具有怎样的关联?
        便捷的获取网站中动态加载的数据
        便捷实现模拟登录
什么是selenium模块?
    基于浏览器自动化的一个模块。
selenium使用流程:
    环境安装:
        pip install selenium
    下载一个浏览器的驱动程序（谷歌浏览器)
        下载路径:http://chromedriver.storage.googleapis.com/index.html
        驱动程序和浏览器的映射关系:http://blog.csdn.net/huilan_same/article/details/51896672
    导包：
        from selenium import webdriver
    实例化一个浏览器对象：
        bro = webdriver.Chrome(executable_path="./chromedriver.exe")
    编写基于浏览器自动化的操作代码
        发起请求:get(url)
        标签定位:find系列的方法
        标签交互:send_keys( 'xx')
        执行js程序:excute_script('jsCode')
        前进，后退:back(),forward()
        关闭浏览器:quit()
        实例1、爬取药监局化妆品企业（ajax动态生成的）

from selenium import webdriver
from lxml import etree
import time
# 生成一个浏览器对象
bro = webdriver.Chrome(executable_path="./chromedriver.exe")
# 让浏览器向url发起一个get请求
bro.get("http://scxk.nmpa.gov.cn:81/xk/")
# 获取网页源码的数据（包括由ajax动态加载的数据）
page_text = bro.page_source

tree = etree.HTML(page_text)
li_list = tree.xpath('//*[@id="gzlist"]/li')
for li in li_list:
    name = li.xpath("./dl/@title")[0]
    print(name)
time.sleep(2)
bro.quit()

if __name__ == '__main__':
    bro = webdriver.Chrome(executable_path='./chromedriver' )
    bro.get( ' https://www.taobao.com/')
    #标签定位
    search_input = bro.find_element_by_id('q')
    #标签交互
    search_input.send_keys( 'Iphone ')
    # 执行-组is程序
    bro.execute_script('window.scrollTo(0,document.body.scrollHeight)' )
    time.sleep(2)
    # 点击搜索按钮
    btn = bro.find_element_by_css_selector( '.btn-search')
    btn.click()
    bro.get('https://www.baidu.com')
    time.sleep(2)
    # 回退
    bro.back()
    time.sleep(2)
    # 前进
    bro.forward()
    time.sleep(5)
    bro.quit()

        实例2、爬取淘宝首页，模拟输入要搜索的商品，和往下滑动滚轮

if __name__ == '__main__':
    bro = webdriver.Chrome(executable_path='./chromedriver' )
    bro.get( ' https://www.taobao.com/')
    #标签定位
    search_input = bro.find_element_by_id('q')
    #标签交互
    search_input.send_keys( 'Iphone ')
    # 执行-组is程序
    bro.execute_script('window.scrollTo(0,document.body.scrollHeight)' )
    time.sleep(2)
    # 点击搜索按钮
    btn = bro.find_element_by_css_selector( '.btn-search')
    btn.click()
    bro.get('https://www.baidu.com')
    time.sleep(2)
    # 回退
    bro.back()
    time.sleep(2)
    # 前进
    bro.forward()
    time.sleep(5)
    bro.quit()

    selenium处理iframe
        如果定位的标签存在于iframe标签之中，则必须使用switch_to.frame(id)
        动作链（拖动):from selenium.webdriver import ActionChains
            实例化一个动作链对象:action = ActionChains(bro)
            click_and_hold (div):长按且点击操作
            move_by_offset(x,y）
            perform()让动作链立即执行
            action.release(）释放动作链对象
        实例：拖动iframe中的元素的位置
综合实例：
　　模拟QQ空间登陆

# 导入动作链对应的类
from selenium.webdriver import ActionChains
if __name__ == '__main__':
    bro = webdriver.Chrome(executable_path='./chromedriver.exe')
    bro.get( 'https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
    #如果定位的标签是存在无iframe标签之虫的则必须通过如顶操作在进行标签定应
    bro.switch_to.frame('iframeResult')#切换浏览器标签定位的作用g
    div = bro.find_element_by_id('draggable')
    #动作链
    action = ActionChains(bro)
    # 点击长按指定的标签
    action.click_and_hold(div)
    for i in range(5):
        # perform文即执行动作链操作
        #movs_by_offset(x,y) x水平方向 Y竖直方向
        action.move_by_offset(17,0).perform()
        # time.sleep()
    #释放动作链
    action.release()
    bro.quit()

无可视化界面（无头浏览器）:from selenium.webdriver.chrome.options import Options
        #实现无可视化界面的操作
        chrome_options = Options()
        chrome_options.add_argument('--headless')
        chrome_options.add_argument('--disable-gpu')
        使用方法：
            bro = webdriver.Chrome(executable_path='./chromedriver.exe',chrome_options=chrome_options)
规避风险:from selenium.webdriver import ChromeOptions
        #实现规避检测
        option = ChromeOptions()
        option.add_experimental_option('excludeSwitches', ['enable-automation'])
        使用方法：
            bro = webdriver.Chrome(executable_path='./chromedriver.exe',options=option)
　　实例：无可视化界面+规避风险

from selenium import webdriver
#实现无可视化界面
from selenium.webdriver.chrome.options import Options
#实现规避检测
from selenium.webdriver import ChromeOptions
if __name__ == '__main__':

    #实现无可视化界面的操作
    chrome_options = Options()
    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--disable-gpu')

    #实现规避检测
    option = ChromeOptions()
    option.add_experimental_option('excludeSwitches', ['enable-automation'])

    #如何实现selenium规避被检测到的风险
    bro = webdriver.Chrome(executable_path='./chromedriver.exe',chrome_options=chrome_options,options=option)

    #无视化界面(无法浏览器).phantomls
    bro.get( 'https://www.baidu.com')

    print(bro.page_source)

    time.sleep(2)
    bro.quit()

 综合实例：12306模拟登录

      超级鹰:http://www.chaojiying.com/about.html
        　　注册:普通用户
        　　登录:普通用户
       　　 题分查询:充值
        　　创建一个软件(id)
        　　下载示例代码
　　12306模拟登录编码流程:
    　　    使用selenium打开登录页面
    　　    对当前selenium打开的这张页面进行截图
               对当前图片局部区域(验证码图片）进行裁剪
               　　# 踩坑：要把电脑的分辨率调成100%，才可以准确的截取到验证码的图
              　　好处:将验证码图片和模拟登录进行一一对应。
    　　    使用超级鹰识别验证码图片(坐标)

from PIL import Image
from selenium import webdriver
# 12306网站的登录
#使用selenium打开登录页面
from selenium import webdriver
from CodeClass import Chaojiying_Client
import time
from selenium.webdriver import ActionChains
'''
踩坑：要把电脑的分辨率调成100%，才可以准确的截取到验证码的图
'''
def get_code(filename,type):
    chaojiying = Chaojiying_Client("2206767909", "ygcqqmmff123", '121212')  # 用户中心>>软件ID 生成一个替换 96001
    im = open(filename, 'rb').read()  # 本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
    return chaojiying.PostPic(im, type)["pic_str"]

if __name__ == '__main__':
    # 生成一个浏览器对象
    bro = webdriver.Chrome(executable_path= './chromedriver.exe')
    # 浏览器最大化
    bro.maximize_window()
    # 浏览器发起请求
    bro.get('https://kyfw.12306.cn/otn/resources/login.html')
    # 停一秒
    time.sleep(1)
    # 转到输入用户名密码的界面
    a_tag = bro.find_element_by_xpath("/html/body/div[2]/div[2]/ul/li[2]/a")
    a_tag.click()
    #save_ssreenshot就是将当前页面进行截图并保存
    bro.save_screenshot('aa.png')
    # 定位到验证码图片的位置，
    code_img_ele = bro.find_element_by_id("J-loginImg")
    #确定验证码胤片对应的左上角和右下角的坐标(裁剪的区域就确定)。注意，一定要把电脑的分辨率调成100%，不然会确定不准确
    location = code_img_ele.location#验证码图片左上角的坐标x,y
    print('location:',location)
    size = code_img_ele.size   #验证码标签对应的长和宽
    print('size:',size)
    # 左上角和右下角坐标，也就是整个验证码的区域
    rangle=(
        location['x'], location['y'], location['x']+size['width'], location["y"]+size["height"]
    )
    # 利用PIL中的Image模块，把截得整个网页的图片生成一个对象
    i = Image.open('./aa.png ')
    # 验证码保存路径
    code_img_name = './code.png'
    #crop根据指定区域进行度片裁剪
    frame = i.crop(rangle)
    # 保存验证码
    frame.save(code_img_name)
    # 用超级鹰来识别验证码
    xy = get_code("./code.png",9004)
    print("验证码：",xy)
    # 把所有的坐标封装到列表中
    all_xy = []
    if "|" in xy:
        xy_list = xy.split("|")
        for p in xy_list:
            p_list = list(p.split(","))
            all_xy.append(p_list)
    else:
        p_list = list(xy.split(","))
        all_xy.append(p_list)
    # 打印一下所有的封装到列表中的坐标
    print(all_xy)
    for i in all_xy:
        x = int(i[0])
        y = int(i[1])
        # 把参照物从整个网页的边界改成验证码的边界，并移动要指定的x,y坐标中
        chains = ActionChains(bro).move_to_element_with_offset(code_img_ele,x,y)
        # 执行点击操作
        chains.click().perform()
        time.sleep(0.5)
    # 输入用户名
    username = bro.find_element_by_id('J-userName').send_keys("username")
    time.sleep(1)
    # 输入密码
    password = bro.find_element_by_id('J-password').send_keys("password")
    time.sleep(1)
    # 点击登录
    btn = bro.find_element_by_id('J-login').click()
    # 关闭浏览器
    # time.sleep(2)
    # bro.quit()