selenium并发请求的实现-并发日志篇

前言  

    前面我们使用了线程、进程、协程实现了并发。在实践操作中，报错时发现定位问题很麻烦：不清楚报错日志属于哪个并发请求的操作。

     那么有没有什么办法好区分日志属于哪个的请求呢：答案是在日志格式中加上请求ID，这样每个请求就能根据ID来分辨是哪个的请求了。

实现：

     首先用到的是contextvars库，contextvars模块提供了管理、存储和访问上下文局部状态的API，它在Python 3.7版本中引入。

     其次用到的是UUID，它是一个通用唯一标识符，用来标明当前。

     接着需要用的是 FastAPI 框架中的 HTTP 中间件(middleware)，中间件可以用作日志记录、CORS处理，认证授权、性能监控、异常处理、请求/响应修改等

     下面我们使用fastapi框架结合loguru日志模块来演示下如何实现并发日志。

示例代码：

 1.测试日志是否正常，代码如下：

from uuid import uuid4
from contextvars import ContextVar
from fastapi import FastAPI, Request
from loguru import logger


# 初始化FastAPI应用
app = FastAPI()

# 创建线程安全的上下文变量
request_id_ctx = ContextVar("request_id", default="system")

# 配置loguru日志格式（使用extra字段前需要先绑定）
logger.configure(extra={"request_id": ""})  # 初始化extra字段
logger.add("app.log",
           format="{time:YYYY-MM-DD HH:mm:ss} | {level} | {extra[request_id]} | {message}",
           enqueue=True)  # enqueue确保多进程安全


@app.middleware("http")               #中间件
async def request_middleware(request: Request, call_next):
    # 生成唯一请求ID
    rid = f"REQ-{uuid4()}"

    # 设置到上下文变量（需要保存token防止提前回收）
    token = request_id_ctx.set(rid)

    # 将request_id存入请求对象（可选，方便在路由中获取）
    request.state.request_id = rid

    try:
        # 处理请求前日志（通过上下文获取）
        with logger.contextualize(request_id=rid):
            logger.info("Request started")
        response = await call_next(request)

    finally:
        # 确保清理上下文（关键修正：避免内存泄漏）
        request_id_ctx.reset(token)

    # 添加请求ID到响应头（可选）
    response.headers["X-Request-ID"] = rid
    return response


# 获取当前请求日志器（通过contextvars获取）
def get_logger():
    return logger.bind(request_id=request_id_ctx.get())


# 测试接口
@app.get("/test")
async def test_endpoint(request: Request):
    current_logger = get_logger()
    current_logger.info("logger进入处理流程")
    # 模拟业务处理
    import time
    time.sleep(0.1)
    current_logger.info("logger处理完成")

    return {
        "request_id": request.state.request_id,
        "status": "success"
    }

if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="0.0.0.0", port=8000)

 

2. 修改第一篇的百度请求，使用并发实现，并加入日志，代码如下：

 

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from concurrent.futures import ThreadPoolExecutor
import asyncio
from uuid import uuid4
from contextvars import ContextVar
from loguru import logger
from fastapi import FastAPI, Request
import sys

app = FastAPI()
executor = ThreadPoolExecutor(max_workers=10)   # 创建一个线程池，最大线程数设置为10
request_id_ctx = ContextVar("request_id", default="system")
logger.configure(handlers=[], extra={"request_id": ""})  # 初始化extra字段.handlers清空默认日志输出
logger.add("app.log",format="{time:YYYY-MM-DD HH:mm:ss} | {level} | {extra[request_id]} | {file.name}:{line} | {message}",colorize=True,enqueue=True)  # enqueue确保多进程安全
logger.add(sys.stderr,format="<green>{time:YYYY-MM-DD HH:mm:ss}</green> | <level>{level}</level> | <cyan>{extra[request_id]}</cyan> | <blue>{file.name}:{line}</blue> | <level>{message}</level>",colorize=True,enqueue=True)  # enqueue确保多进程安全


@app.middleware("http")               #中间件
async def request_middleware(request: Request, call_next):
    # 生成唯一请求ID
    rid = f"REQ-{uuid4()}"
    # 设置到上下文变量（需要保存token防止提前回收）
    token = request_id_ctx.set(rid)
    # 将request_id存入请求对象（可选，方便在路由中获取）
    request.state.request_id = rid
    try:
        # 处理请求前日志（通过上下文获取）
        with logger.contextualize(request_id=rid):
            logger.info("Request started")
            response = await call_next(request)
    finally:
        # 确保清理上下文,避免内存泄漏
        request_id_ctx.reset(token)
    # 添加请求ID到响应头（可选）
    response.headers["X-Request-ID"] = rid
    return response


def sync_search_baidu(key_word: str, request_id: str):
    """实际的搜索逻辑"""
    # 在子线程中设置上下文变量
    logger_ctx = logger.bind(request_id=request_id)
    options = Options()
    # options.add_argument('--headless') # 启用无头模式
    options.add_argument('--disable-gpu')  # 禁用GPU加速
    driver = webdriver.Chrome(options=options)
    driver.maximize_window()  # 最大化窗口
    search_result = []
    try:
        driver.get("https://www.baidu.com")
        logger_ctx.info(f"browser is opened,Searching for '{key_word}'...")
        driver.find_element(By.ID, "kw").send_keys(key_word)
        driver.find_element(By.ID, "su").click()
        time.sleep(10)
        search_results = driver.find_elements(By.XPATH, "//div[@id='content_left']//h3//p/span/span")
        search_result = [result.text for result in search_results]
        logger_ctx.info(f"Search completed for '{key_word}'. Results: {search_result}")
        return search_result
    except Exception as e:
        return search_result.append(f"Error occurred while searching for '{key_word}': {e}")
    finally:
        driver.quit()


@app.get("/search/{key_word}")
async def search_baidu(key_word: str, request: Request):
    """执行百度搜索的异步封装"""
    loop = asyncio.get_event_loop()  # 获取当前事件循环
    request_id = request.state.request_id
    try:
        # 在线程池中执行同步的Selenium操作
        return await loop.run_in_executor(
            executor,
            lambda: sync_search_baidu(key_word, request_id)
        )
    except Exception as e:
        return {"error": str(e)}


if __name__ == '__main__':
    import uvicorn
    uvicorn.run(app, host="0.0.0.0", port=8000)