摘要:
8B: vllm serve /home/xurui/.cache/modelscope/hub/models/Qwen/Qwen3-8B \ --served-model-name qwen3-8b \ --host 0.0.0.0 \ --port 5001 \ --enable-lora \ 阅读全文
posted @ 2026-02-11 16:32
zjb480
阅读(4)
评论(0)
推荐(0)
摘要:
# 1. 登录91服务器 ssh xurui@192.168.0.91 # 2. 激活conda环境(后续操作需要) conda activate vllm_infer # 3. 查看GPU进程并杀死(释放显存) nvidia-smi # 输出示例:找到PID列的数字(比如12345),执行 kil 阅读全文
posted @ 2026-02-11 16:01
zjb480
阅读(3)
评论(0)
推荐(0)

浙公网安备 33010602011771号