模型部署

 

1， 安装显卡驱动

　　nvidia-smi

2，安装 CUDA Toolkit

　　nvcc --version

3，安装pip install vllm

4，下载模型文件，启动模型，验证

---------------------------------------

k8s集群

1， nvdia gpu operator （它会自动处理驱动、Container Runtime、Device Plugin 和 DCGM 的全套配置）

2，准备共享存储，模型文件