本文是《AI工程师踩坑实录》系列第 9 篇。同一份代码两次跑出不同指标,汇报的时候说不清哪个数才是真的。这一篇在本机把「漏种子」的现场完整复现,再给你一份四层种子加一层算法的固定清单。全部对照基于真机双跑,逐位比对。
本篇配套的可复现性实验脚本放在公Z号。

先立个案发现场。

同一份训练代码,今天跑出来 0.002,明天跑出来 0.0004。指标汇报的时候,两组数字都能复现,都不稳定,你说不清哪次是对的。

代码里明明写了 torch.manual_seed(42),为什么还是不一样。

因为 PyTorch 的种子只是四层随机源里的一层。你的实验里大概率还有另外三层在裸奔,其中一两层每次运行都在变,结果自然每次都不同。

一、先看漏种子的真实现场

我写了一个小实验,把四层随机源各安插在一个环节上。NumPy 层管随机投影(模拟数据预处理),torch 层管模型初始化,Python random 层管 batch 采样顺序。

所谓 leak 模式,就是最常见的写法,只设了 torch.manual_seed(42),其他层不设。同一个脚本连跑两次,真实输出。

leak 模式两次运行结果

两次的最终 loss,0.002117 对 0.000392。权重签名、投影矩阵、batch 顺序,全部不同。

注意一个细节。torch 的种子我设了,模型初始权重应该固定,为什么最终权重还是不一样。因为初始权重确实一样,但训练用的输入数据(NumPy 层)和 batch 顺序(Python random 层)每次不同,训练轨迹发散,最终权重跟着发散。种子固定的是起点,没固定路程。

二、四层全设,逐位复现

full 模式,四层种子全部固定,再加 cudnn 确定性开关。同一个脚本再连跑两次。

full 模式两次运行结果

loss 两次都是 0.001363,权重签名逐位相同,batch 顺序完全一致。这就是可复现该有的样子。

两组截图放一起看,差距一目了然。漏一层,两次实验是两个世界。全设上,两次实验是同一次。

三、还有第五层,种子的管辖区之外

看 full 模式截图的最后一行,有个耐人寻味的细节。

四层种子全设了,GPU 上那个 scatter_add 演示两次跑还是差 1.91e-06。种子管不住它。

这层叫算法非确定性。GPU 上某些算子(原子累加、cudnn 自动调优的卷积)的浮点求和顺序不保证一致,浮点加法不满足结合律,顺序不同结果就有微小差异。差异虽小,训练几万步累积下来,足以让两条轨迹彻底分开。

对付这一层不靠种子,靠开关。torch.backends.cudnn.deterministic=True 关掉自动调优,benchmark=False 关掉算法选择随机性,要求严苛的场景再上 torch.use_deterministic_algorithms(True),有非确定算子直接报错提醒你换写法。

四层种子加一层算法清单

四、这份清单怎么用

按层排查你的脚本,每一层问一句,这里的随机性从哪来。

数据打乱、采样、增强,大概率走 Python random 或 NumPy。模型初始化、dropout,走 torch。GPU 上的随机算子,走 torch.cuda。最后问算法层,用没用原子累加、cudnn 调优。

一个实用技巧,把五条固定写法封装成函数,训练脚本开头一行调用。写一次,之后每个实验自动带上,不靠记忆靠结构。

还有个反方向的建议。调参和对比实验要全固定,但正式训练的最终跑,可以把种子放开跑三遍取平均,看看指标的方差。固定种子容易让人产生「结果很稳」的错觉,其实你只是把某一次抽样冻结了。知道方差,汇报时才有底气。

五、常见问题 3 连

1. DataLoader 的 num_workers 开了多进程,种子还固定得住吗?

有坑。worker 进程的种子由 worker_init_fn 控制,不设的话每个 worker 的随机增强各自随机。PyTorch 的官方文档给了现成的 seed_worker 函数,DataLoader 传进去就行。第 5 篇讲过的 main guard 也别忘,两个坑经常一起出现。

2. 固定了种子,为什么换台机器结果还是不一样?

种子只保证同软硬件环境下的复现。跨机器时,cudnn 版本、算子实现、甚至浮点模型(strict 模式)都可能引入差异。想要跨平台逐位一致,成本很高,一般做到「同机器可复现 + 跨机器统计一致」就够用了。

3. transformers 微调大模型,种子要设哪些?

同样的四层加一层。训练脚本设 random / numpy / torch / cuda 四层种子,模型加载后如果有额外随机初始化(比如新增 head),确保在设种子之后再初始化。DataLoader 的 worker 种子也要管。梯度检查点、混合精度本身不改随机源,但和第五层算法非确定性有交集,严格复现要关 amp 的动态 loss scale 随机性。

六、本篇小结

  1. torch.manual_seed 只是四层随机源之一,漏任何一层,两次实验就是两个世界。
  2. 本机实测,四层全设后两次运行 loss 与权重逐位一致。
  3. 第五层算法非确定性种子管不住,靠确定性开关,实测种子全设后 GPU scatter_add 仍差 1.9e-06。

本篇坑卡片

字段 内容
坑名 只设 torch 种子导致实验不可复现,漏掉 Python random / NumPy / CUDA 层
现象原文 同一脚本两次运行 loss 0.002117 与 0.000392,权重与 batch 顺序全不同
环境 Win11,Python 3.12,torch 2.9.1+cu126(含 GPU 对照)
复现步骤 leak 模式只设 torch.manual_seed 双跑 → 全不同;full 模式四层全设 + cudnn 确定性双跑 → 逐位一致
根因 NumPy 投影、Python random 的 batch 顺序每次运行不同,训练轨迹发散
解法 四层种子全设(random/np/torch/cuda)+ cudnn.deterministic + benchmark=False
避坑建议 五条固定写成函数进训练脚本模板;DataLoader 用 seed_worker;跨机器只求统计一致
可信度 本机验证
版本时间戳 2026-11-06,torch 2.9.1+cu126
关联坑 第 5 篇 DataLoader 卡死(同为多进程相关)

专栏导航

篇次 主题 状态
1 nvidia-smi 显示的 CUDA 版本到底是不是你装的那个 ✅
2 torch.cuda.is_available() 一直是 False,一条命令定位断点 ✅
3 标签和图像没对齐,模型一直在学噪声 ✅
4 loss 变 NaN,用 hook 逐层定位 ✅
5 DataLoader 卡死在第一个 batch,Windows 多进程的坑 ✅
6 装了两套 CUDA 还在串,PATH 与优先级的真相 ✅
7 数据泄漏:预处理做在了划分之前 ✅
8 RAG 答一半开始编,检索阈值与拒答机制实操 ✅
9 随机种子都设了,结果还是不可复现 ✅(本篇)
10 相似度全是 0.9:向量没归一化 排期中
11 开了混合精度就 NaN,GradScaler 到底在做什么 排期中
12 loss 不降反升,先别怀疑模型结构 排期中
13 训练降验证不降:先查数据再谈正则 排期中

下一篇预告,《相似度全是 0.9:向量没归一化》。任何两段文本算出来都很像,排序完全失效,看起来像模型坏了,其实是一个一行的细节。本系列收官篇。


版权说明,本文双跑对照与 GPU 演示均来自本人真机复现,专栏读者可学习使用,禁止转售或整篇搬运。

posted on 2026-11-17 14:05  大雾的小屋  阅读(0)  评论(0)    收藏  举报