AI大模型 - 随笔分类 - momingliu11

vLLM常用参数解释

摘要：--max-model-len 16384 ：设置模型能处理的最大上下文长度（输入 + 输出）token数量，典型值：8192, 16384, 32768, 131072--max-num-batched-tokens 8192 ：一次批处理（batch）中，最多允许的总 token 数量（包括所有阅读全文

posted @ 2025-09-19 15:42 momingliu11 阅读(129) 评论(0) 推荐(0)

部署RolmOCR模型

摘要：1、下载RolmOCR模型文件 #pip3 install modelscope #下载RolmOCR模型 modelscope download --model reducto/RolmOCR --local_dir /data/llm/rolmocr --max-workers 2 #使用vll 阅读全文

posted @ 2025-04-23 16:59 momingliu11 阅读(515) 评论(0) 推荐(0)

CentOS7.9部署vLLM，运行DeepSeek大模型

摘要：前提：已成功安装Nvidia显卡驱动 1、安装openssl 1.1.1 mkdir /usr/local/openssl cd /softwares/openssl-1.1.1n ./config --prefix=/usr/local/openssl make && make install l 阅读全文

posted @ 2025-04-23 16:50 momingliu11 阅读(1136) 评论(0) 推荐(0)

CentOS7.9安装Nvidia显卡驱动

摘要：1、安装依赖 #安装依赖，确保kernel-devel与内核版本一致 yum install pciutils libffi-devel xz-devel python-backports-lzma yum-utils git -y #查看内核版本、源码包版本，确保版本一致 wget https: 阅读全文

posted @ 2025-04-23 16:37 momingliu11 阅读(717) 评论(0) 推荐(0)

安装xformers

摘要：通过命令 “pip3 install xformers-0.0.28.post3-cp310-cp310-manylinux_2_28_x86_64.whl” 安装whl包，出现如下报错： ERROR: xformers-0.0.28.post3-cp310-cp310-manylinux_2_28 阅读全文

posted @ 2025-04-23 15:52 momingliu11 阅读(531) 评论(0) 推荐(0)

CentOS7安装cudnn

摘要：wget https://developer.nvidia.com/downloads/compute/cudnn/secure/8.9.1/local_installers/12.x/cudnn-local-repo-rhel7-8.9.1.23-1.0-1.x86_64.rpm rpm -i c 阅读全文

posted @ 2025-04-08 17:27 momingliu11 阅读(98) 评论(0) 推荐(0)

CentOS7安装glibc-2.28

摘要：1.升级make到版本4 yum -y install bison #安装glibc需要此安装包wget http://ftp.gnu.org/gnu/make/make-4.3.tar.gz tar -xf make-4.3.tar.gz cd make-4.3 ./configure --pre 阅读全文

posted @ 2025-04-08 09:13 momingliu11 阅读(1431) 评论(0) 推荐(0)

随笔分类 - AI大模型