selenium并发请求的实现-第一篇

前言

原本使用selenium爬取数据，只能一个个爬取。如果想提升爬取速度，短时间获取更多数据，那么就需要并发执行了。那么我们先了解下python并发编程的实现方式

并发介绍

Python的并发编程有三种方式：多线程，多进程，多协程，下面对比说明下他们3个的特点。

 实现过程

在了解以上信息后，先决定从资源开销最低的asyncio来实现下看看

1.第一步，先实现最基础的获取百度搜索结果中的标题，然后我们看怎么改造成异步实现。

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from concurrent.futures import ThreadPoolExecutor
import asyncio
import aiohttp


def sync_search_baidu(key_word: str):
    """实际的搜索逻辑"""
    options = Options()
    # options.add_argument('--headless') # 启用无头模式
    options.add_argument('--disable-gpu')  # 禁用GPU加速
    driver = webdriver.Chrome(options=options)
    driver.maximize_window()  # 最大化窗口
    search_result = []
    try:
        driver.get("https://www.baidu.com")
        driver.find_element(By.ID, "kw").send_keys(key_word)
        driver.find_element(By.ID, "su").click()
        time.sleep(3)
        search_results = driver.find_elements(By.XPATH, "//div[@id='content_left']//h3//p/span/span")
        search_result = [result.text for result in search_results]
        return search_result
    except Exception as e:
        return search_result.append(f"Error occurred while searching for '{key_word}': {e}")
    finally:
        driver.quit()

2.第二步，改造成异步实现

executor = ThreadPoolExecutor(max_workers=10)   # 创建一个线程池，最大线程数设置为10
async def search_baidu(key_word: str):
    """执行百度搜索的异步封装"""
    loop = asyncio.get_event_loop()  # 获取当前事件循环
    try:
        # 在线程池中执行同步的Selenium操作
        return await loop.run_in_executor(
            executor,
            sync_search_baidu,
            key_word
        )
    except Exception as e:
        return {"error": str(e)}

3. 第三步，创建一个客户端，去并发访问我们的异步函数，查看是否真的实现了并发请求

async def client_test():
    key_words = ['面积最大的国家', '死亡人数最多的战役', '化学元素共有多少种']
    async with aiohttp.ClientSession() as session:
        # 创建多个任务，每个任务对应一个搜索关键词
        tasks = [search_baidu(key_word) for key_word in key_words]
        # 使用asyncio.gather()来同时运行多个任务，并等待它们全部完成。
        all_result = await asyncio.gather(*tasks)
        return all_result


if __name__ == '__main__':
    results = asyncio.run(client_test())
    print(results)

4.经过运行，发现浏览器会同时打开3个，去百度进行查询，完美实现了并发请求。实际运行时，为减少资源消耗，可以开启options.add_argument('--headless') # 启用无头模式

后续我们继续使用multiprocessing和threading，来实现并发请求，请期待我的下一篇