Ollama简介

• 想离线使用模型
• 想减少对云端 API 的依赖
• 想做本地开发、本地测试
• 想让敏感数据尽量不出本机
• 想学习开源模型和本地推理的基本流程

• 云端 API：模型在别人服务器上，你通过网络调用
• Ollama 本地运行：模型在你机器上，你通过本机服务调用

官网下载太慢，一个多G，网盘链接：  下载Ollama地址

默认会安装在C盘，建议命令安装

1. 在其他盘新建一个Ollama文件夹，将Ollama.exe放到文件夹内

2. 进入该文件夹，在文件夹地址框输入cmd，然后回车

3. 在cmd窗口里输入 OllamaSetup.exe /DIR=D:\Ollama 。 （格式为： 安装文件名称 /DIR= 当前文件夹的路径）

修改模型存储目录

置环境变量：

• 变量名：OLLAMA_MODELS
• 变量值：你希望存放模型的目录路径

 因为很多“明明改了路径但不生效”的问题，本质是环境变量设置方式不对

Windows：

1. 先退出 Ollama
2. 打开系统环境变量设置
3. 为用户或系统创建 / 修改 OLLAMA_MODELS
4. 保存后重新启动 Ollama

macOS：

如果 Ollama 以应用形式运行，官方更推荐通过 launchctl 设置，例如：

launchctl setenv OLLAMA_HOST "0.0.0.0:11434"

 同理，OLLAMA_MODELS 也可用相同方式设置，然后重启应用。

 

常用命令

命令	说明
ollama pull llama3	下载指定模型
ollama run llama3	运行模型并进入交互对话
ollama list	查看本机已下载模型
ollama rm llama3	删除模型
ollama show llama3	查看模型详情
ollama ps	查看当前加载中的模型
ollama stop llama3	停止正在运行的模型
ollama serve	启动 Ollama 本地服务
ollama create my-model -f Modelfile	基于 Modelfile 创建自定义模型

 

用 ollama run <模型名> 进入聊天后，若要回到普通终端提示符：

• 在对话里输入 /bye（Ollama 提供的退出指令）；
• 或使用快捷键 Ctrl+D（向终端发送「结束输入」，在 macOS / Linux 上很常见；Windows 新终端多也支持，若无效可再试 Ctrl+Z 后回车，或直接关闭该终端标签页）。

ChatOllama

ChatOllama 是 LangChain 中用于连接本地 Ollama 聊天模型的类

• 都可以 invoke()
• 都会返回 AIMessage
• 都能继续接 Prompt、LCEL、Agent

区别只在于：

• 前面那些大多连接的是云端模型
• ChatOllama 连接的是本机 Ollama 服务

from langchain_ollama import ChatOllama

model = ChatOllama(
    model="qwen:4b",
    base_url="http://localhost:11434",
)

print(model.invoke("什么是 LangChain，100 字以内").content)