2025年4月8日
记录-内网部署vllm分布式推理DeepSeekR1:70b
摘要： 背景 前段时间接到需求要在内网部署DeepSeekR1:70b，由于手里的服务器和显卡比较差（四台 四块Tesla T4- 16g显存的服务器），先后尝试了ollama、vllm、llamacpp等，最后选择用vllm的分布式推理来部署。 需要准备的资源 vllm的docker镜像（可以从docke 阅读全文
posted @ 2025-04-08 14:48 日报初级开发工程师 阅读(990) 评论(0) 推荐(1)