不用 Celery:用 SQLite 做一个能断点续跑的本地任务队列

上周我把一个批处理脚本从 Celery 搬回 SQLite。
任务量不大,一天几百个。Redis、worker、监控加在一起,比任务本身还难维护。
我要的东西只有四件:排队、抢占、失败重试、进程崩了能把任务收回来。
SQLite 3.49.1,Python 3.12,一台 4GB 的云主机,4 个 worker。
表结构
CREATE TABLE jobs (
id INTEGER PRIMARY KEY AUTOINCREMENT,
kind TEXT NOT NULL,
payload TEXT NOT NULL,
status TEXT NOT NULL DEFAULT 'queued',
attempts INTEGER NOT NULL DEFAULT 0,
max_attempts INTEGER NOT NULL DEFAULT 3,
run_after REAL NOT NULL DEFAULT 0,
lease_until REAL,
worker_id TEXT,
last_error TEXT,
created_at REAL NOT NULL,
updated_at REAL NOT NULL
);
CREATE INDEX idx_jobs_claim ON jobs(status, run_after, id);
status 只有四个:queued、running、done、dead。
attempts 在 claim 时加一,不在 fail 时加。这样租约过期被回收也算一次尝试,不会无限重试。
抢占要在一个写事务里
错误写法是 SELECT 一条 queued,再 UPDATE。两个 worker 同时 select,会拿到同一条。
我用 BEGIN IMMEDIATE 把读和写包在一起:
def claim(conn, worker_id, lease=30):
now = time.time()
conn.execute("BEGIN IMMEDIATE")
try:
row = conn.execute(
"""UPDATE jobs
SET status='running', worker_id=?, lease_until=?,
attempts=attempts+1, updated_at=?
WHERE id = (
SELECT id FROM jobs
WHERE status='queued' AND run_after <= ?
ORDER BY id LIMIT 1
)
RETURNING id, kind, payload, attempts, max_attempts, lease_until""",
(worker_id, now + lease, now, now),
).fetchone()
conn.execute("COMMIT")
except Exception:
conn.execute("ROLLBACK")
raise
return dict(row) if row else None
RETURNING 直接带回 id、payload、attempts,不用再查一次。SQLite 3.35+ 支持。
连接要开 WAL 和 busy timeout:
conn = sqlite3.connect("queue.db", isolation_level=None, timeout=5)
conn.row_factory = sqlite3.Row
conn.execute("PRAGMA journal_mode=WAL")
conn.execute("PRAGMA synchronous=NORMAL")
conn.execute("PRAGMA busy_timeout=5000")
完成和失败都要校验租约
complete() 的条件里带 worker_id 和 lease_until >= now。任务被 reclaim 后,原来的 worker 再提交,不会把新 worker 的状态覆盖掉。
def complete(conn, job_id, worker_id):
now = time.time()
with conn:
cur = conn.execute(
"UPDATE jobs SET status='done', worker_id=NULL, lease_until=NULL, updated_at=? "
"WHERE id=? AND worker_id=? AND status='running' AND lease_until>=?",
(now, job_id, worker_id, now),
)
return cur.rowcount == 1
fail() 里 attempts >= max_attempts 就进 dead,否则按 2 ** attempts 秒退避,最多 60 秒。
回收逻辑只做一件事:把 running 且 lease_until < now 的任务放回 queued。
def reclaim(conn):
now = time.time()
with conn:
cur = conn.execute(
"UPDATE jobs SET status='queued', worker_id=NULL, lease_until=NULL, updated_at=? "
"WHERE status='running' AND lease_until<?",
(now, now),
)
return cur.rowcount
实测
24 个任务,4 个 worker,其中一个 flaky 任务前两次抛异常:
- 24 个 done
- 26 次 claim
- flaky 被 claim 3 次,第 3 次成功
崩溃测试:lease 0.5 秒,0.8 秒后 reclaim 1 条,另一个 worker 接手并完成。

边界
SQLite 是单写者。WAL 能让读不阻塞写,但写还是串行。
4 个 worker、短任务、单机,够用。上百个 worker 或跨机器,换 Postgres 或 Redis,不要硬撑。
这套东西不是替代 Celery。它是把“一个轻量脚本”需要的基础设施压到零。
还没解决
handler 的副作用不能跟着事务回滚。发邮件、写文件、调第三方接口,失败重试会重复执行。
下一步要加幂等键和 outbox。这次只把队列本身跑通了,副作用那一层还没做。
作者:badhope33834
专注AI技术落地与行业观察 | 坚持原创,拒绝水文
如果觉得文章对你有帮助,点击右下角"推荐" 是对我最大的鼓励
关注我,不错过每篇深度分析 | https://www.cnblogs.com/badhope/p/23743574/sqlite-job-queue-python

浙公网安备 33010602011771号