Python 3.11 的 TaskGroup:SerpBase 批量采集该不该用

gather 少了几条,没人发现

去年写一个 SerpBase 批量采集,200 个词,用 asyncio.gather 并发跑。

上线一周后对账,发现数据库里有 197 条。差三条。

查了半天,原因是其中三条在解析时抛了异常,gather 默认把异常吞进返回的 Future 里,代码只取了 await asyncio.gather(...) 的结果列表,压根没检查每一条的异常。少了三条,日志里安安静静。

Python 3.11 加了 TaskGroup,正好治这类问题。但它不是「gather 的替代品」,两者语义不同,用错方向会得到相反的结果。

TaskGroup 的基本形态

import asyncio

async def main():
    async with asyncio.TaskGroup() as tg:
        t1 = tg.create_task(fetch("a"))
        t2 = tg.create_task(fetch("b"))
    print(t1.result(), t2.result())

两个要点:

块内的任务全部结束后,async with 才退出。任何一个任务抛异常,块内其余任务会被取消,异常统一抛成 ExceptionGroup。

这是「全有或全无」的语义:整批要么都成功,要么一起出错。

异常组:except* 怎么接

try:
    async with asyncio.TaskGroup() as tg:
        for kw in keywords:
            tg.create_task(collect_one(kw))
except* RuntimeError as eg:
    for e in eg.exceptions:
        print("出错:", e)

except* 会遍历异常组里所有匹配的类型,不会只处理第一个。这是它和普通 except 最大的区别——普通 except 拿到异常组时,只能看到第一个。

取消语义:外层停,里面全停

TaskGroup 的另一个价值是取消传播。

外层任务被取消(比如收到停止信号),块内所有子任务会一起被取消,async with 会等它们真正结束再退出。不会出现「主流程退了,后台还有几十个请求在飞」的情况。

这一点在批量采集里很实用:配合 SIGTERM,能让退出变得可预期。

批量采集里的实际用法

日常场景其实是两种,别混:

整批必须成功(比如生成一份对外报表):用 TaskGroup,任何一条拿到非 0 的 status 就抛异常,整批作废重跑。

允许部分成功(比如日常监控):用 gather(return_exceptions=True),逐条检查,把异常记下来,成功的照常入库。

async def collect_batch(keywords, concurrency=8):
    sem = asyncio.Semaphore(concurrency)

    async def one(kw):
        async with sem:
            data = await post_serp(kw)
            if data.get("status") != 0:
                raise RuntimeError(f"status={data.get('status')} req={data.get('request_id')}")
            return kw, data

    results = await asyncio.gather(*(one(k) for k in keywords), return_exceptions=True)
    ok, bad = [], []
    for kw, r in zip(keywords, results):
        (bad if isinstance(r, Exception) else ok).append((kw, r))
    return ok, bad

这里的 request_id 一定要带进异常信息。批量任务里出问题,没有它就只能靠时间戳猜是哪一次调用。

我后来把两者分开用

那次少了三条之后,我把批量任务拆成两条路径:

需要「一份完整数据」的任务(月度报表、对外交付),走 TaskGroup,一错全停,让问题当场暴露。

日常采集走 gather(return_exceptions=True),接受部分成功,但必须把出错清单打出来、写进表里,第二天补跑。

两种语义对应两种业务要求,混着用就会出现「不知道少了什么」的状态。

什么时候还继续用 gather

几个任务以内、彼此独立、不需要取消传播的场景,gather 更省事,代码也短。

需要「一个出错全部回滚」「取消要传下去」「异常要一次性收齐」这几条里任意一条,就换 TaskGroup。

端点参数与字段语义以 SerpBase 文档 为准;网页搜索 1 credit 一次,新账号 500 免费 credits,目录 49 个端点、44 个当前可用。

posted @ 2026-11-16 09:00  蜘蛛人  阅读(8)  评论(0)    收藏  举报