ollama 部署教程

目录

• 安装
• 使用
• 技巧

安装

• 安装压缩包：curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama.tgz
• 解压：tar -xzvf ollama.tgz
• 添加权限：chmod +x bin/ollama
• 修改模型权重存储路径（默认是~/.ollama，其他杂七杂八文件也在这里）：export OLLAMA_MODELS="/data/dingxingd/ollama/models"
  • 所有模型的权重可以放到同一个目录下，ollama通过哈希区分，不用担心会混淆
• 启动服务：./bin/ollama serve
• 测试是否安装成功：在另一个终端运行curl http://localhost:11434，输出ollama is running

使用

• 安装模型：bin/ollama pull qwen3:0.6b
• 进行聊天：bin/ollama run qwen3:0.6b
  • 当然还可以使用其他很多方式，具体见官方文档

技巧

• ollama支持openai库，具体操作见官方文档
• 如果是ollama自己支持的参数，那么通过extra_body传递
  • extra_body这个参数是OpenAI专门给与openai兼容的后端设计的，传递openai本来不支持的参数，由后端处理
  • 在ollama中，这个参数接受一个键为opetions的字典
    • 比如开启推理模式为extra_body={"options": {"think": "true"}}，然后就可以在completion.choices[0].message.thinking中看到推理内容，在completion.choices[0].message.content中看到输出内容
• ollama默认的上下文长度是4096，即使模型的上下文长度比这个高得多也没用。如果使用openai库的话，修改上下文长度的步骤如下：
  • 创建Modefile文件

    FROM qwen3:0.6b
    PARAMETER num_ctx 20480
    

  • 运行命令（不是在ollama service之前运行，而是先开启服务然后在另一个终端运行）：ollama create myqwen -f path/to/Modelfile
    • myqwen是自定义名字，不要与模型本来的名字相同即可
  • 之后将模型名称换成myqwen即可