selenium+chrome笔记（4）（截图）

selenium在使用时一直提醒换掉phantomjs 改用 chrome的headless模式，主要是因为phantomjs的维护已经很少了，而chrome的headless模式越来越完善。

本来只是自己研究研究，踩了几个坑，想不到昨天线上截图服务器出了问题，初步判断是淘宝搞事，用js获取当前浏览器类型，直接不去请求数据了。
只好马上开始换用chrome，踩了很多坑，留下了悲伤的泪水。
以下步骤可以先在windows尝试。都兼容的

首先是chromedriver的下载，https://sites.google.com/a/chromium.org/chromedriver/ 去官网选最新版就好
下好后，服务器上要添加执行权限

chmod +x chromedriver

然后安装chromium-browser，windows本来就有chrome桌面版就可以了
这里有个坑，服务器安装完chrome直接截图的话，中文会表现为方块，所以要安装字体包

sudo apt-get install ttf-wqy-zenhei

在windows下可以直接启动了

browser = webdriver.Chrome(chrome_driver_path)
browser.get('https://www.jianshu.com')
chrome.save_screenshot(img_name)
browser.quit()

但是服务器并没有屏幕。很多教程比较老。都是用虚拟屏幕的，现在完全不需要了，headless模式登场

chrome_option = webdriver.ChromeOptions()
chrome_option.add_argument('--headless')
browser = webdriver.Chrome(chrome_driver_path)
browser.get('https://www.jianshu.com')
browser.quit()

如果这时候还是报未知错误。可能是沙盒模式启动错误，添加这个关闭沙盒模式

chrome_option.add_argument('no-sandbox')

接下来是代理设置，普通的http代理很简单，proxy为'http://ip:port'这样的形式

chrome_option.add_argument('--proxy-server={}'.format(proxy))

可是https就有问题了。需要关闭chrome的证书认证，找了很久，终于找到了解决方案，原来之前headless模式一直没有实现这个功能，直到半个月前才有消息
围观大佬 https://bugs.chromium.org/p/chromium/issues/detail?id=721739#c60
于是有了解决方案，= = 找了好久啊,注意这里的版本是有限制的 chroem >= 65 chromedriver>2.35 反正最新版就对了

# 配置忽略ssl错误
capabilities = DesiredCapabilities.CHROME.copy()
capabilities['acceptSslCerts'] = True
capabilities['acceptInsecureCerts'] = True
browser = webdriver.Chrome(desired_capabilities=capabilities)

还有一个坑，chrome直接设置超时会使浏览器崩溃，导致无法进行下去，像我的需求，载入了一段时间后还是想停止载入并截图的
20180414 更新
我之前这里写的是用调用插件的办法，但是仔细研究后，现在chrome headless 还不支持插件，不过普通的在页面加载前执行js还是可以的，就是没有那么高的权限

def send(driver, cmd, params={}):
    resource = "/session/%s/chromium/send_command_and_get_result" % driver.session_id
    url = driver.command_executor._url + resource
    body = json.dumps({'cmd': cmd, 'params': params})
    response = driver.command_executor._request('POST', url, body)
    if response['status']:
        raise Exception(response.get('value'))
    return response.get('value')


def add_script(driver, script):
    send(driver, "Page.addScriptToEvaluateOnNewDocument", {"source": script})


WebDriver.add_script = add_script

browser = webdriver.Chrome('./chromedriver', chrome_options=chrome_option)
assert isinstance(browser, WebDriver)

browser.add_script("""
setInterval(function () {document.title = 'sb sb'}, 1000);
""")

想要插件的高权限只能不用headless模式了
最后是完整代码

class get_chroem:
    def __init__(self, *args, **kwargs):
        self.browser = None
        self.args = args
        self.kwargs = kwargs
        self.window_size = None

  def _get_chrome(self, type, use_proxy):
    chrome_option = webdriver.ChromeOptions()
    user_agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
    self.window_size = ('1440', '900')
    chrome_option.add_argument('--proxy-server={}'.format(proxy))
    chrome_option.add_argument('no-sandbox')
    chrome_option.add_argument('--headless')
    # 配置忽略ssl错误
    capabilities = DesiredCapabilities.CHROME.copy()
    capabilities['acceptSslCerts'] = True
    capabilities['acceptInsecureCerts'] = True
    browser = webdriver.Chrome(
        chrome_driver_path,
        chrome_options=chrome_option,
        # service_log_path='/opt/logs/chrome.log',
        desired_capabilities=capabilities)

    if self.window_size is not None:
        browser.set_window_size(*self.window_size)
    return browser

def __enter__(self):
    """
    :rtype: selenium.webdriver.chrome.webdriver.WebDriver
    :return:
    """
    self.browser = self._get_chrome(*self.args, **self.kwargs)
    return self.browser

def __exit__(self, exc_type, exc_value, traceback):
    if self.browser is None:
        return
    try:
        self.browser.quit()
    except:
        pass

用with语法调用口味更佳

# 截图
chrome.save_screenshot(img_name)

转自：https://www.jianshu.com/p/52a36ae42ac5