2025年8月12日
docker 容器化部署 vLLM 启动大模型
摘要： 环境：centos 8.x、显卡L20 46Gx 5块 1、安装好NVIDIA Container Toolkit组件 参考我上一篇文件中的3.1：安装nvidia容器支持，链接 https://www.cnblogs.com/zhaolongisme/p/18912077 2、下载vLLM镜像和大 阅读全文
posted @ 2025-08-12 08:53 天海沙 阅读(3041) 评论(0) 推荐(0)