本文是《AI工程师踩坑实录》系列第 9 篇。同一份代码两次跑出不同指标,汇报的时候说不清哪个数才是真的。这一篇在本机把「漏种子」的现场完整复现,再给你一份四层种子加一层算法的固定清单。全部对照基于真机双跑,逐位比对。
本篇配套的可复现性实验脚本放在公Z号。
先立个案发现场。
同一份训练代码,今天跑出来 0.002,明天跑出来 0.0004。指标汇报的时候,两组数字都能复现,都不稳定,你说不清哪次是对的。
代码里明明写了 torch.manual_seed(42),为什么还是不一样。
因为 PyTorch 的种子只是四层随机源里的一层。你的实验里大概率还有另外三层在裸奔,其中一两层每次运行都在变,结果自然每次都不同。
一、先看漏种子的真实现场
我写了一个小实验,把四层随机源各安插在一个环节上。NumPy 层管随机投影(模拟数据预处理),torch 层管模型初始化,Python random 层管 batch 采样顺序。
所谓 leak 模式,就是最常见的写法,只设了 torch.manual_seed(42),其他层不设。同一个脚本连跑两次,真实输出。

两次的最终 loss,0.002117 对 0.000392。权重签名、投影矩阵、batch 顺序,全部不同。
注意一个细节。torch 的种子我设了,模型初始权重应该固定,为什么最终权重还是不一样。因为初始权重确实一样,但训练用的输入数据(NumPy 层)和 batch 顺序(Python random 层)每次不同,训练轨迹发散,最终权重跟着发散。种子固定的是起点,没固定路程。
二、四层全设,逐位复现
full 模式,四层种子全部固定,再加 cudnn 确定性开关。同一个脚本再连跑两次。

loss 两次都是 0.001363,权重签名逐位相同,batch 顺序完全一致。这就是可复现该有的样子。
两组截图放一起看,差距一目了然。漏一层,两次实验是两个世界。全设上,两次实验是同一次。
三、还有第五层,种子的管辖区之外
看 full 模式截图的最后一行,有个耐人寻味的细节。
四层种子全设了,GPU 上那个 scatter_add 演示两次跑还是差 1.91e-06。种子管不住它。
这层叫算法非确定性。GPU 上某些算子(原子累加、cudnn 自动调优的卷积)的浮点求和顺序不保证一致,浮点加法不满足结合律,顺序不同结果就有微小差异。差异虽小,训练几万步累积下来,足以让两条轨迹彻底分开。
对付这一层不靠种子,靠开关。torch.backends.cudnn.deterministic=True 关掉自动调优,benchmark=False 关掉算法选择随机性,要求严苛的场景再上 torch.use_deterministic_algorithms(True),有非确定算子直接报错提醒你换写法。

四、这份清单怎么用
按层排查你的脚本,每一层问一句,这里的随机性从哪来。
数据打乱、采样、增强,大概率走 Python random 或 NumPy。模型初始化、dropout,走 torch。GPU 上的随机算子,走 torch.cuda。最后问算法层,用没用原子累加、cudnn 调优。
一个实用技巧,把五条固定写法封装成函数,训练脚本开头一行调用。写一次,之后每个实验自动带上,不靠记忆靠结构。
还有个反方向的建议。调参和对比实验要全固定,但正式训练的最终跑,可以把种子放开跑三遍取平均,看看指标的方差。固定种子容易让人产生「结果很稳」的错觉,其实你只是把某一次抽样冻结了。知道方差,汇报时才有底气。
五、常见问题 3 连
1. DataLoader 的 num_workers 开了多进程,种子还固定得住吗?
有坑。worker 进程的种子由 worker_init_fn 控制,不设的话每个 worker 的随机增强各自随机。PyTorch 的官方文档给了现成的 seed_worker 函数,DataLoader 传进去就行。第 5 篇讲过的 main guard 也别忘,两个坑经常一起出现。
2. 固定了种子,为什么换台机器结果还是不一样?
种子只保证同软硬件环境下的复现。跨机器时,cudnn 版本、算子实现、甚至浮点模型(strict 模式)都可能引入差异。想要跨平台逐位一致,成本很高,一般做到「同机器可复现 + 跨机器统计一致」就够用了。
3. transformers 微调大模型,种子要设哪些?
同样的四层加一层。训练脚本设 random / numpy / torch / cuda 四层种子,模型加载后如果有额外随机初始化(比如新增 head),确保在设种子之后再初始化。DataLoader 的 worker 种子也要管。梯度检查点、混合精度本身不改随机源,但和第五层算法非确定性有交集,严格复现要关 amp 的动态 loss scale 随机性。
六、本篇小结
- torch.manual_seed 只是四层随机源之一,漏任何一层,两次实验就是两个世界。
- 本机实测,四层全设后两次运行 loss 与权重逐位一致。
- 第五层算法非确定性种子管不住,靠确定性开关,实测种子全设后 GPU scatter_add 仍差 1.9e-06。
本篇坑卡片
| 字段 | 内容 |
|---|---|
| 坑名 | 只设 torch 种子导致实验不可复现,漏掉 Python random / NumPy / CUDA 层 |
| 现象原文 | 同一脚本两次运行 loss 0.002117 与 0.000392,权重与 batch 顺序全不同 |
| 环境 | Win11,Python 3.12,torch 2.9.1+cu126(含 GPU 对照) |
| 复现步骤 | leak 模式只设 torch.manual_seed 双跑 → 全不同;full 模式四层全设 + cudnn 确定性双跑 → 逐位一致 |
| 根因 | NumPy 投影、Python random 的 batch 顺序每次运行不同,训练轨迹发散 |
| 解法 | 四层种子全设(random/np/torch/cuda)+ cudnn.deterministic + benchmark=False |
| 避坑建议 | 五条固定写成函数进训练脚本模板;DataLoader 用 seed_worker;跨机器只求统计一致 |
| 可信度 | 本机验证 |
| 版本时间戳 | 2026-11-06,torch 2.9.1+cu126 |
| 关联坑 | 第 5 篇 DataLoader 卡死(同为多进程相关) |
专栏导航
| 篇次 | 主题 | 状态 |
|---|---|---|
| 1 | nvidia-smi 显示的 CUDA 版本到底是不是你装的那个 | ✅ |
| 2 | torch.cuda.is_available() 一直是 False,一条命令定位断点 | ✅ |
| 3 | 标签和图像没对齐,模型一直在学噪声 | ✅ |
| 4 | loss 变 NaN,用 hook 逐层定位 | ✅ |
| 5 | DataLoader 卡死在第一个 batch,Windows 多进程的坑 | ✅ |
| 6 | 装了两套 CUDA 还在串,PATH 与优先级的真相 | ✅ |
| 7 | 数据泄漏:预处理做在了划分之前 | ✅ |
| 8 | RAG 答一半开始编,检索阈值与拒答机制实操 | ✅ |
| 9 | 随机种子都设了,结果还是不可复现 | ✅(本篇) |
| 10 | 相似度全是 0.9:向量没归一化 | 排期中 |
| 11 | 开了混合精度就 NaN,GradScaler 到底在做什么 | 排期中 |
| 12 | loss 不降反升,先别怀疑模型结构 | 排期中 |
| 13 | 训练降验证不降:先查数据再谈正则 | 排期中 |
下一篇预告,《相似度全是 0.9:向量没归一化》。任何两段文本算出来都很像,排序完全失效,看起来像模型坏了,其实是一个一行的细节。本系列收官篇。
版权说明,本文双跑对照与 GPU 演示均来自本人真机复现,专栏读者可学习使用,禁止转售或整篇搬运。
浙公网安备 33010602011771号