AIGC标识 不用 Celery:用 SQLite 做一个能断点续跑的本地任务队列

不用 Celery 也能排队

上周我把一个批处理脚本从 Celery 搬回 SQLite。

任务量不大,一天几百个。Redis、worker、监控加在一起,比任务本身还难维护。

我要的东西只有四件:排队、抢占、失败重试、进程崩了能把任务收回来。

SQLite 3.49.1,Python 3.12,一台 4GB 的云主机,4 个 worker。

表结构

CREATE TABLE jobs (
  id INTEGER PRIMARY KEY AUTOINCREMENT,
  kind TEXT NOT NULL,
  payload TEXT NOT NULL,
  status TEXT NOT NULL DEFAULT 'queued',
  attempts INTEGER NOT NULL DEFAULT 0,
  max_attempts INTEGER NOT NULL DEFAULT 3,
  run_after REAL NOT NULL DEFAULT 0,
  lease_until REAL,
  worker_id TEXT,
  last_error TEXT,
  created_at REAL NOT NULL,
  updated_at REAL NOT NULL
);

CREATE INDEX idx_jobs_claim ON jobs(status, run_after, id);

status 只有四个:queued、running、done、dead。

attempts 在 claim 时加一,不在 fail 时加。这样租约过期被回收也算一次尝试,不会无限重试。

抢占要在一个写事务里

错误写法是 SELECT 一条 queued,再 UPDATE。两个 worker 同时 select,会拿到同一条。

我用 BEGIN IMMEDIATE 把读和写包在一起:

def claim(conn, worker_id, lease=30):
    now = time.time()
    conn.execute("BEGIN IMMEDIATE")
    try:
        row = conn.execute(
            """UPDATE jobs
               SET status='running', worker_id=?, lease_until=?,
                   attempts=attempts+1, updated_at=?
               WHERE id = (
                 SELECT id FROM jobs
                 WHERE status='queued' AND run_after <= ?
                 ORDER BY id LIMIT 1
               )
               RETURNING id, kind, payload, attempts, max_attempts, lease_until""",
            (worker_id, now + lease, now, now),
        ).fetchone()
        conn.execute("COMMIT")
    except Exception:
        conn.execute("ROLLBACK")
        raise
    return dict(row) if row else None

RETURNING 直接带回 id、payload、attempts,不用再查一次。SQLite 3.35+ 支持。

连接要开 WAL 和 busy timeout:

conn = sqlite3.connect("queue.db", isolation_level=None, timeout=5)
conn.row_factory = sqlite3.Row
conn.execute("PRAGMA journal_mode=WAL")
conn.execute("PRAGMA synchronous=NORMAL")
conn.execute("PRAGMA busy_timeout=5000")

完成和失败都要校验租约

complete() 的条件里带 worker_id 和 lease_until >= now。任务被 reclaim 后,原来的 worker 再提交,不会把新 worker 的状态覆盖掉。

def complete(conn, job_id, worker_id):
    now = time.time()
    with conn:
        cur = conn.execute(
            "UPDATE jobs SET status='done', worker_id=NULL, lease_until=NULL, updated_at=? "
            "WHERE id=? AND worker_id=? AND status='running' AND lease_until>=?",
            (now, job_id, worker_id, now),
        )
    return cur.rowcount == 1

fail() 里 attempts >= max_attempts 就进 dead,否则按 2 ** attempts 秒退避,最多 60 秒。

回收逻辑只做一件事:把 running 且 lease_until < now 的任务放回 queued。

def reclaim(conn):
    now = time.time()
    with conn:
        cur = conn.execute(
            "UPDATE jobs SET status='queued', worker_id=NULL, lease_until=NULL, updated_at=? "
            "WHERE status='running' AND lease_until<?",
            (now, now),
        )
    return cur.rowcount

实测

24 个任务,4 个 worker,其中一个 flaky 任务前两次抛异常:

  • 24 个 done
  • 26 次 claim
  • flaky 被 claim 3 次,第 3 次成功

崩溃测试:lease 0.5 秒,0.8 秒后 reclaim 1 条,另一个 worker 接手并完成。

任务状态

边界

SQLite 是单写者。WAL 能让读不阻塞写,但写还是串行。

4 个 worker、短任务、单机,够用。上百个 worker 或跨机器,换 Postgres 或 Redis,不要硬撑。

这套东西不是替代 Celery。它是把“一个轻量脚本”需要的基础设施压到零。

还没解决

handler 的副作用不能跟着事务回滚。发邮件、写文件、调第三方接口,失败重试会重复执行。

下一步要加幂等键和 outbox。这次只把队列本身跑通了,副作用那一层还没做。

posted @ 2026-11-22 03:50  badhope33834  阅读(4)  评论(0)    收藏  举报
↑