Ollama
Ollama 介绍 - 本地大模型运行工具
一、Ollama 是什么？
Ollama 是一个开源的本地大语言模型（LLM）运行框架，由 Go 语言开发，采用 MIT 许可证。它的核心目标是将复杂的模型部署过程简化到极致，让开发者甚至普通用户都能在本地轻松运行和管理大语言模型。
简单来说，Ollama 就像一个"大模型的本地管家"——把模型的下载、环境配置、依赖安装、推理加速等复杂环节全部封装好，让你只需要一条命令就能跑起一个本地 AI 大模型。
核心特性：
- 极简部署：一条命令即可拉取并运行模型，无需手动配置环境
- 多模型支持：兼容 Llama、DeepSeek、Qwen（千问）、Gemma、Mistral 等 200+ 主流开源模型
- 量化技术优化：默认使用 4-bit 量化技术，大幅降低显存需求，消费级显卡也能流畅运行
- 跨平台：支持 Windows、macOS、Linux 三大操作系统
- REST API：模型启动后自动在
11434端口提供 OpenAI 兼容的 API 服务 - 自定义模型：支持通过 Modelfile 自定义模型参数、提示词等
- 数据隐私：模型完全在本地运行，数据不出本机，保障隐私安全
二、Windows 下安装 Ollama
2.1 系统要求
- Windows 10 22H2 或更新版本
- 建议 8GB 以上内存（运行 7B 以上模型建议 16GB+）
- 如使用 NVIDIA 显卡，建议安装 452.39 或更新版本的驱动程序
2.2 安装步骤
第 1 步：下载安装包
访问 Ollama 官网下载页面：https://ollama.com/download
点击 "Download for Windows" 按钮，下载 OllamaSetup.exe 安装包。
第 2 步：运行安装
双击下载的 OllamaSetup.exe，一路点击"下一步"完成安装。安装程序会自动将 Ollama 添加到系统 PATH 环境变量中。
安装完成后，Ollama 会作为后台服务自动运行，并在系统托盘中显示图标。
第 3 步：验证安装
打开命令提示符（CMD）或 PowerShell，输入：
ollama --version
如果显示版本号（如 ollama version is 0.15.1），则说明安装成功。
第 4 步（可选）：修改模型存储路径
Ollama 默认将模型下载到 C:\Users\<用户名>\.ollama\models 目录。由于大模型通常有数 GB 甚至数十 GB，建议将存储路径改到其他盘。
- 打开"系统属性" → "环境变量"
- 在"用户变量"中点击"新建"
- 变量名：
OLLAMA_MODELS - 变量值：
D:\OllamaModels（或其他路径） - 点击"确定"保存
- 重启计算机使环境变量生效
其他常用环境变量：
| 变量名 | 作用 | 示例值 |
|---|---|---|
OLLAMA_HOST |
修改服务监听地址 | 0.0.0.0:11434 |
OLLAMA_MODELS |
修改模型存储路径 | D:\OllamaModels |
OLLAMA_KEEP_ALIVE |
模型卸载等待时间（秒） | 5m（5分钟） |
OLLAMA_NUM_PARALLEL |
并行请求处理数 | 2 |
三、Ollama 基本使用
3.1 常用命令速查
| 命令 | 说明 | 示例 |
|---|---|---|
ollama pull <模型名> |
下载模型 | ollama pull qwen2.5:7b |
ollama run <模型名> |
运行模型（交互模式） | ollama run qwen2.5:7b |
ollama list |
列出已下载的模型 | ollama list |
ollama ps |
查看当前正在运行的模型 | ollama ps |
ollama stop <模型名> |
停止正在运行的模型 | ollama stop qwen2.5:7b |
ollama rm <模型名> |
删除已下载的模型 | ollama rm qwen2.5:7b |
ollama serve |
启动 API 服务 | ollama serve |
ollama create <模型名> |
从 Modelfile 创建自定义模型 | ollama create mymodel -f ./Modelfile |
ollama cp <源> <目标> |
复制模型 | ollama cp qwen2.5:7b myqwen:7b |
ollama push <模型名> |
将模型推送到仓库 | ollama push myuser/mymodel |
ollama show <模型名> |
查看模型详情 | ollama show qwen2.5:7b |
ollama launch <模型名> |
一键启动编码工具（v0.15.1+） | ollama launch codex |
3.2 第一个模型：快速上手
步骤 1：拉取模型
以阿里通义千问 Qwen2.5 为例，这是一个中文能力优秀的开源模型：
ollama pull qwen2.5:7b
模型大小约 4.7GB，请确保网络稳定。如果下载缓慢，可配置国内镜像源。
步骤 2：交互式对话
ollama run qwen2.5:7b
进入交互模式后，会出现 >>> 提示符，直接输入问题即可：
>>> 你好！
>>> 请用 Python 写一个快速排序算法。
>>> /bye # 退出对话
步骤 3：API 调用
Ollama 会自动在 http://localhost:11434 启动 API 服务，可通过 curl 或任意编程语言调用：
curl http://localhost:11434/api/generate -d "{\"model\": \"qwen2.5:7b\", \"prompt\": \"请用一句话介绍人工智能\"}"
Python 调用示例：
import requests
response = requests.post(
"http://localhost:11434/api/generate",
json={"model": "qwen2.5:7b", "prompt": "请用一句话介绍人工智能"}
)
for line in response.iter_lines():
if line:
print(line)
3.3 模型推荐
| 模型名称 | 参数规模 | 模型大小 | 适用场景 |
|---|---|---|---|
qwen2.5:0.5b |
0.5B | ~400MB | 入门体验，低配电脑首选 |
qwen2.5:7b |
7B | ~4.7GB | 中文通用场景，推荐 |
qwen2.5:14b |
14B | ~9.0GB | 需要更强中文能力的场景 |
deepseek-r1:7b |
7B | ~4.7GB | 代码生成、数学推理 |
deepseek-r1:14b |
14B | ~9.0GB | 更强的推理和代码能力 |
llama3.2:3b |
3B | ~2.0GB | 轻量级英文场景 |
llama3.1:8b |
8B | ~4.7GB | 通用英文场景 |
phi3-mini |
3.8B | ~2.5GB | 微软轻量模型，平衡性能 |
gemma3:27b |
27B | ~16GB | 支持视觉文档理解 |
四、进阶使用
4.1 自定义模型（Modelfile）
通过 Modelfile 可以自定义模型的系统提示词、推理参数等。
# Modelfile 示例
FROM qwen2.5:7b
# 设置系统提示词
SYSTEM "你是一个专业的代码审查助手，请用中文回答。"
# 设置推理参数
PARAMETER temperature 0.7
PARAMETER top_p 0.9
ollama create code-reviewer -f ./Modelfile
ollama run code-reviewer
4.2 导入 GGUF 格式的模型
支持导入 Hugging Face 等平台下载的 GGUF 格式模型：
ollama create mymodel --gguf ./path/to/model.gguf
4.3 更改服务监听地址
默认 Ollama 仅监听 127.0.0.1:11434，如果想允许局域网其他设备访问：
set OLLAMA_HOST=0.0.0.0:11434
ollama serve
五、常见问题
Q：模型下载太慢怎么办？
可以配置国内镜像源，设置环境变量 OLLAMA_HOST 指向国内镜像地址。
Q：运行时提示内存不足怎么办？
选择更小的模型（如 0.5B/1B 版本），或使用量化版本（q4_K_M 等）。
Q：如何让模型在后台运行而不占用终端？
Ollama 默认作为 Windows 服务运行，通过 ollama run 启动后会在后台保持服务。
Q：Ollama 和 ChatGPT 有什么不同？
Ollama 是本地部署工具，在本地运行开源模型，数据不出本机，完全免费且保护隐私；ChatGPT 是云端商业服务，依赖网络，数据上传到服务器处理。
六、生态集成
Ollama 的 API 接口兼容 OpenAI 格式，因此可以无缝对接各类 AI 工具：
- Open WebUI：提供类 ChatGPT 的 Web 交互界面
- Dify：可视化 AI 应用开发平台，可快速构建 RAG 知识库
- Chatbox：桌面端 AI 对话客户端
- LangChain：大模型应用开发框架
- Continue / Cline：AI 编程助手插件
- Page Assist：浏览器侧边栏 AI 助手
浙公网安备 33010602011771号