怎么指定GPU启动应用

一台服务器有多个显卡
已经启动了部分服务,如果再启动服务可能占用前面的显卡
怎么指定显卡
如下
设置显卡位置以0开始2代表使用第3张显卡
空格之后再输入启动命令

CUDA_VISIBLE_DEVICES=2 python3 -m vllm.entrypoints.openai.api_server --model /psy_model_v3/ --max_model_len 4096 --gpu-memory-utilization 0.8 --served-model-name gpt-3.5-turbo --port 8006  

打开另外一个终端查看显卡GPU消耗