深度学习中(tensorflow、pytorch)解决GPU使用冲突/抢卡
问题:在运行深度学习模型的时候,总是要nvidia-smi一下看看那块显卡比较空闲,很麻烦。
解决方法:写个bash脚本,每次运行程序的时候,选择显存剩余最大的GPU。
#!/bin/bash
n=$(nvidia-smi -q -d Memory|grep -A4 GPU|grep Free |grep -Eo "[0-9]+"|awk '{{printf"%s,",$0}}')
OLD_IFS="$IFS"
IFS=","
n_list=($n)
IFS="$OLD_IFS"
max=${n_list[0]}
max_id=0
for var in ${!n_list[@]}
do
if [[ ${max} -le ${n_list[$var]} ]];then
max_id=${var}
max=${n_list[${var}]}
echo "gpu $max_id: $max MiB"
fi
done
echo "finally chose gpu $max_id, reamain memory $max MiB"
# run your command
#python main.py --gpu_id $max_id
如果你喜欢的话...
如果读完我写的笔记有疑问或者想法,欢迎留下您的评论,我们一起交流、共同讨论、相互学习。如果这篇笔记让您有收获,愿您不吝打赏,您的鼓励是对我最大的肯定,也督促我记录更多质量更好的笔记。

浙公网安备 33010602011771号