selenium并发请求的实现-第二篇

前言

上篇我们介绍了如何用多协程asyncio来实现并发，本篇我们使用多线程threading和多进程multiprocessing来实现并发。

正文

一、同步请求代码优化

第一步，还是使用原来同步请求百度的代码，增加了浏览器启动时的一些参数options.add_argument('--no-sandbox') 和options.add_argument('--disable-dev-shm-usage')，用以避免沙箱权限和共享内存冲突问题。

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options


def sync_search_baidu(key_word: str):
    """实际的搜索逻辑"""
    options = Options()
    # options.add_argument('--headless') # 启用无头模式
    options.add_argument('--disable-gpu')  # 禁用GPU加速
    options.add_argument('--no-sandbox')
    options.add_argument('--disable-dev-shm-usage')
    driver = webdriver.Chrome(options=options)
    driver.maximize_window()  # 最大化窗口
    search_result = []
    try:
        driver.get("https://www.baidu.com")
        driver.find_element(By.ID, "kw").send_keys(key_word)
        driver.find_element(By.ID, "su").click()
        time.sleep(3)
        search_results = driver.find_elements(By.XPATH, "//div[@id='content_left']//h3//p/span/span")
        search_result = [result.text for result in search_results]
    except Exception as e:
        search_result.append(f"Error occurred while searching for '{key_word}': {e}")
    finally:
        driver.quit()
    return search_result

二、使用线程池的方式来调用

第二步，使用线程池来调用上面函数，支持并发

from concurrent.futures import ThreadPoolExecutor


def thread_search_baidu(key_word: str):
    with ThreadPoolExecutor(max_workers=10) as executor:
        # 在线程池中执行同步的Selenium操作
        return executor.submit(sync_search_baidu, key_word).result()

第三步，使用线程池测试线程并发

def client_test_thread(key_words: list):
    with ThreadPoolExecutor(max_workers=10) as executor:
        futures = [executor.submit(thread_search_baidu, key_word) for key_word in key_words]
        return [future.result() for future in futures]

if __name__ == '__main__':
    key_words = ['面积最大的国家', '死亡人数最多的战役', '化学元素共有多少种']
    results = client_test_thread(key_words)
    print(results)

三、使用多进程来调用 

第二步，使用多进程调用上面的函数

通过 Pool.map 实现自动任务分配，比手动管理 Process 更高效可靠。

import os
from multiprocessing import Pool, Manager


def multiprocess_search(keywords: list):
    """多进程并发控制器"""
    max_workers = min(len(keywords), os.cpu_count() - 1)
    with Pool(processes=max_workers) as pool:  # 根据关键词数量创建进程池
        search_results = pool.map(sync_search_baidu, keywords)  # 自动分配任务
    return search_results

第三步，直接调用上面的多进程函数

if __name__ == '__main__':
    key_words = ['面积最大的国家', '死亡人数最多的战役', '化学元素共有多少种']
    results = multiprocess_search(key_words)
    print(results)