2025年5月23日
从头开始配置一台NVIDIA GPU大模型训练推理服务器
摘要： 从头开始配置一台NVIDIA GPU大模型训练推理服务器 服务器信息 操作系统：Ubuntu 20.04.4 LTS (GNU/Linux 5.4.0-100-generic x86_64) GPU：8×A100 40G 1. 配置DNS 设置DNS，方便后续下载各种软件包 vim /etc/res 阅读全文
posted @ 2025-05-23 17:00 一蓑烟雨度平生 阅读(539) 评论(0) 推荐(1)
vLLM部署大模型服务 - 以Qwen3-32B为例
摘要： vLLM部署大模型服务 部署环境 操作系统：Ubuntu 20.04.4 LTS Cuda Version: 12.8, Cuda compilation tools, release 12.2, V12.2.91 显卡：A100 40G × 2 Miniconda3 vllm==0.8.5 服务参 阅读全文
posted @ 2025-05-23 14:12 一蓑烟雨度平生 阅读(3140) 评论(0) 推荐(0)