本地部署Gemma3模型

本地部署Gemma3模型

1. 拉取并运行 Ollama 容器

# 拉取 Ollama 镜像
docker pull ollama/ollama

# 运行 Ollama 容器
docker run -d --gpus all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

2. 进入容器并部署 Gemma3 模型(默认4B版 )

# 进入 Ollama 容器
docker exec -it ollama /bin/bash

# 在容器内部运行 Gemma3 模型
ollama run gemma3

3. 验证模型是否正常运行

• 在容器内部，运行以下命令与 Gemma3 模型进行交互：

  ollama chat gemma3
  

4. 运行 Open WebUI 容器

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

5.体验

使用 Open WebUI调用gemma3:4b

显存占用情况