2024年11月7日
如何使用vLLM部署通义千问大模型Qwen?使用docker的Python基础镜像部署大模型
摘要： 1. 准备环境 在开始之前，请确保您已经安装了Docker（不适用docker可以不安装）和CUDA，以及python和pip供下载模型文件。 2. 下载模型 由于网络问题，需要使用huggingface-cli来下载模型。首先安装所需的库。 pip install -U huggingface_h 阅读全文
posted @ 2024-11-07 17:31 压中 阅读(65) 评论(0) 推荐(0)