Caffe 是否支持多GPU并行训练？

Caffe 是否支持多GPU并行训练？

 

ruirui_ICT - 听大大们说，要“左手代码，右手公式”，喵~

赞同来自: 徐国智_受限的玻尔兹曼 、xinmiao 、李扬 、一依晨阳 、shuimulinxi 更多 »

现在的caffe版本已经支持多GPU并行了，原理比较简单，就是每个GPU分别算一个batch，n个GPU，实际的batchsize就是n*batch，比如原来用一个GPU，batchsize设置成256，现在用4个GPU，把batchsize设置成64，和原来的一个GPU的运算是等价的。
 
实际使用的时候基本不用设置，和原来一样编译好就可以用了。命令就是在-gpu 后面对多个GPU号用逗号隔开，比如-gpu 1,2,3,4 就是同时使用1-4共4个GPU，GPU编号可以不连续，或者直接用-gpu all，就是使用所有的GPU。
 
官方的github里是这样写的

正好我也在用顺手截图

可以看到输出的log里提示了使用了两个GPU