docker安装ollama,离线安装bge-m3等模型

离线安装ollama

通过其他服务器docker下载ollama镜像(镜像地址参考我的另一份文章)

# 保存镜像到本地
docker save -o ollama.tar docker.1ms.run/ollama/ollama:latest

将 ollama.tar 上传到指定服务器

# 加载镜像
docker load -i ollama.tar

使用docker-compose 启动

docker-compose up -d

version: "3"
services:
  ollama:
    image: docker.1ms.run/ollama/ollama:latest
    restart: always
    container_name: ollama
    privileged: true
    ports:
      - 8083:11434
    volumes:
      - ./data:/root/.ollama

docker ps 查看ollama是否启动成功

离线安装bge-m3模型

1、下载模型文件：https://www.modelscope.cn/models

搜索你想要的模型，比如bge-m3, 那就搜索模型 bge-m3,但是选择后缀为GGUF的文件;

点击进去，选择模型列，然后下载最大的就好了。

2、将下载的文件上传到你的服务器上;

3、创建个文件 名为 modelfile

内容如下:

from ./你得模型.gguf

4、将你的模型文件 + modelfile文件，上传到docker-ollama容器中，保证这俩文件在容器中的同一个文件夹;

执行命令

ollama create 你想叫的模型名 -f ./modelfile

5、等待加载成功, 使用 ollama list 命令检查，是否加载成功；