Tensorflow Serving

docker run -p 8501:8501 \
    --mount type=bind,source=/Absolute/path/to/local/saved_model/,target=/models/model_name \
    -t tensorflow/serving \
    -e MODEL_NAME=model_name --model_base_path=/models/model_name/ &

• -p 8501:8501表示服务端口；
• -t表示指定哪一个镜像（图纸）；
• --mount后面跟的这一大长串中间不能有空格，其中type=bind是选择挂在模式
• source指的是模型在机器种储存的路径（必须是绝对路径），target指的是模型在容器中储存的路径（放在集装箱的哪里）；
• per_process_gpu_memory_fraction为程序运行的时，所需的GPU显存资源最大不允许超过的比率的设定值；
• model_name就只是起个名字。

sudo docker run --rm --gpus all nvidia/cuda:10.1-base nvidia-smi
docker run -t --rm --runtime=nvidia --name tf_bert_encoder -p 8500:8500 -p 8501:8501 -v /home/yangkaixuan/saved_models/bert_encoder/:/models/encoder  -e MODEL_NAME=encoder tensorflow/serving:2.3.0-gpu

docker run -t --rm --runtime=nvidia --name tf_bert_encoder -p 8500:8500 -p 8501:8501 -v "$(pwd)/saved_models/:/models/" tensorflow/serving:2.3.0-gpu \
    --model_config_file=/models/models.config  --model_config_file_poll_wait_seconds=60

• -p 8501:8501表示服务端口；
• -v path1:path2中path1指的是模型在机器种储存的路径（必须是绝对路径），path2指的是模型在容器中储存的路径（放在集装箱的哪里）；
• MODEL_NAME指的是给模型起个名；
• tensorflow/serving 是指用哪一个镜像来生成容器。