ollama部署deepseek-r1+webUI实践

一、使用 Docker 部署 Ollama

• 安装 Docker；
• 部署 Ollama：
  • CPU 模式：

    docker run -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
    

  • GPU 模式（需要 NVIDIA 显卡支持）：
    • 安装英伟达容器工具包（以 Ubuntu 22.04 为例）：

      curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
        && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
      	sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
      	sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
      sudo apt-get update
      sudo apt-get install -y nvidia-container-toolkit
      

    • 使用 GPU 运行 Ollama：

      docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
      

      • 如果碰到问题libnvidia-ml.so.1: cannot open shared object file: no such file or directory: unknown.：
        需要增加runtime配置：

        sudo docker run --runtime=nvidia  --gpus all -d -v /home/abu/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
        

二、通过 Ollama 运行 DeepSeek 模型

• 下载 DeepSeek 模型：
  打开终端，运行以下命令下载 DeepSeek 模型：

  ollama pull deepseek-r1
  

• 进入docker容器中,上面容器命名按需调整

  docker exec -it ollama /bin/bash
  

• 下载完成后，可以使用以下命令查看已下载的模型：

  ollama list
  

• 运行 DeepSeek 模型：
  根据你的硬件配置选择合适的模型版本，例如：

    // 1.5B 模型：
    ollama run deepseek-r1:1.5b
    // 7B 模型：
    ollama run deepseek-r1:7b
    // 8B 模型：
    ollama run deepseek-r1:8b
    
    更大模型（如 14B、32B、70B）也可按类似方式运行。
  

三、（可选）通过 Open WebUI 提供图形界面

• 拉取 Open WebUI 镜像：

  docker pull ghcr.io/open-webui/open-webui:main
  

• 运行 Open WebUI 容器：

  docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
  

• 访问 WebUI：

  docker inspect open-webui
  

• 进入webUI界面后，在系统配置中进行配置访问本地模型接口。http://host.docker.internal:11434