部署RolmOCR模型

1、下载RolmOCR模型文件

#pip3 install modelscope
#下载RolmOCR模型
modelscope download --model reducto/RolmOCR --local_dir /data/llm/rolmocr  --max-workers 2
#使用vllm（0.7.3版本）运行RolmOCR模型
export VLLM_USE_V1=1
vllm serve /data/llm/rolmocr --max-model-len 31360 --port 8000
 -api-key 9527
 #当用户使用vLLM 0.8以下版本时（例如0.7.2），需通过此环境变量手动激活V1架构，否则默认运行旧版引擎‌。vLLM版本（如0.8+）默认启用V1架构，无需再设置此变量‌。若需强制回退旧架构，可设置export VLLM_USE_V1=0

 

2、通过vllm运行RolmOCR模型

vllm serve /data/llm/rolmocr 出现报错“Model architectures ['Qwen2_5_VLForConditionalGeneration'] are not supported for now”

vllm serve /data/llm/rolmocr --max-model-len 31360 --port 8000 --api-key 95231
#指定证书、端口，禁用日志记录
vllm serve /data/llm/rolmocr --max-model-len 31360 --port 443 --api-key 95231 --dtype=half --disable-log-requests --disable-log-stats --ssl-keyfile /data/softwares/cert/cer_key.pem --ssl-certfile /data/softwares/cert/cer_crt.pem

原因：RolmOCR是基于Qwen2.5-VL-7B-Instruct模型，但是使用的vllm版本为0.6.3.post1，不支持视觉语言模型，仅支持纯文本，需要安装新版本（最低0.7.2）

解决办法：

pip3 install vllm==0.7.3