大模型, 多少b 占用多少显存

可以看出来，1B=109byte≈1GB
1
𝐵

10
9
𝑏
𝑦
𝑡
𝑒
≈
1
𝐺
𝐵
，1B和1G的大小基本一致，所以我们记作B和G相等。但是，1B模型参数对应多少G内存和参数的精度有关。如果是全精度训练（fp32），一个参数对应32比特，也就是4个字节，参数换算到显存的时候要乘4，也就是1B模型参数对应4G显存。如果是fp16或者bf16就是乘2，1B模型参数对应2G显存。具体如下表所示。

数据类型 每1B参数需要占用内存

fp32 4G

fp16/bf16 2G

int8 1G

int4 0.5G