安装本地大模型--通过Ollama部署Qwen2.5

用Ollama部署Qwen2.5，核心就三步：装好Ollama、拉取模型、跑起来。你可以按下面的步骤操作：

🔧 第一步：安装 Ollama

根据你的系统选择方式，装完在终端输入ollama --version验证是否成功。

• Windows/macOS/Linux通用：去官网下载对应安装包（macOS也可用brew install ollama）。Ollama官网地址：https://ollama.com/（点击右上角Download，进入下载页，直接点击Download for Windows按钮，会将约1.3G的exe安装文件下载到本地，然后直接双击文件安装，安装完成后在Windows Powershell里输入ollama --version，显示如下图则表示安装成功）
  

• 

• Linux（脚本）：curl -fsSL https://ollama.com/install.sh | sh。

• 💡 避坑提示：模型文件很大，建议先设环境变量OLLAMA_MODELS指定存储目录（如D盘），否则默认塞满系统盘。

📥 第二步：拉取 Qwen2.5 模型

选好模型版本后用ollama pull下载就行。注意看你的电脑配置，别选太大的版本跑不起来。

• 查看所有可选版本：[qwen2.5:0.5b] [qwen2.5:7b] [qwen2.5:14b] 等。

• 硬件参考：7B量化版约需4-5GB空间，16GB内存+4核CPU可跑，有6GB以上显存显卡体验更佳。

以最通用的7B版本为例：

bash

ollama pull qwen2.5:7b   # 或者用更轻的:1.5b、:3b版本


用Windows打开powershell，cd 到你建的模型文件夹下，然后执行命令：ollama pull qwen2.5:7b，如下图：

 🚀 第三步：运行并接入测试

下载完直接开聊，或者启动API服务让OpenClaw调用。

• 命令行直接聊：ollama run qwen2.5:7b，输入问题回车即可。

• 启动API服务：另开终端执行ollama serve，默认监听http://localhost:11434，供OpenClaw等工具调用。

• 测试连接（用curl）：

  bash

  curl http://localhost:11434/api/generate -d '{"model": "qwen2.5:7b", "prompt": "Hi"}'

如果遇到拉取失败，大概率是网络问题，可以试试设置代理。成功部署后，记得在OpenClaw配置里把模型地址指向http://localhost:11434，这样你的“小龙虾”就能免费调用本地的Qwen2.5了。

 

补充：

在Ollama中，退出正在运行的模型对话，取决于你当前所处的状态，通常有以下几种情况：

• 如果正在和模型对话（输入了问题，模型正在回复中）：直接按 Ctrl + C 即可强制中断输出，回到命令提示符。

• 如果模型已经回复完毕，正在等待你的下一个输入（提示符是 >>>）：

  • 方法一：输入 /bye 然后按回车，这是最推荐的优雅退出方式。

  • 方法二：直接按 Ctrl + D（EOF结束符），也可以快速退出。

  • 方法三：直接按 Ctrl + C，同样可以强制退出回到终端

 

 

常见问题：

1.windows本地已经启动了ollama，在命令行执行ollama serve，为什么报错提示：Error: listen tcp 127.0.0.1:11434: bind: Only one usage of each socket address (protocol/network address/port) is normally permitted.

为什么会出现这个报错？

• 后台运行：绝大多数情况下，当你安装 Ollama 后，它会自动注册为系统的后台服务（Windows 服务）并开机自启。这意味着你一开机，端口就已经被占用了。  --我在安装好ollama之后重启电脑会自动启动ollama。

• 重复启动：你在命令行执行 ollama serve 是想手动再启动一次，但端口已被后台的那个进程占用，所以系统拒绝了这个请求。

解决方案（3种方法）

方法一：什么都不做（最推荐）

既然你已经“本地启动了”，那么服务已经在运行了。你不需要执行 ollama serve。
你可以直接打开一个新的命令行窗口，运行：

bash

ollama list

或者直接运行模型：

bash

ollama run llama2

如果能正常返回结果，说明服务正常，直接忽略那个报错即可。

（我执行了ollama list，返回Qwen2.5，说明服务当前是正常的，不用再手动启动。还有可以直接在浏览器中输入ollama的地址http://localhost:11434，会显示Ollama is running.)

 

方法二：关闭后台服务，只用手动模式

如果你确实想用命令行控制（比如为了看实时日志），可以先杀掉后台进程，再手动启动。

1. 右键点击任务栏，打开任务管理器。

2. 在“详细信息”或“服务”标签页中，找到 Ollama.exe 或 Ollama Service。

3. 右键点击，选择结束任务。

4. 然后再回到命令行执行 ollama serve，这次就不会报错了。

方法三：杀死占用端口的进程（命令行法）

如果你不想打开任务管理器，可以用命令行杀掉占用端口的进程：

1. 以管理员身份打开命令行（CMD 或 PowerShell）。

2. 查找占用端口的进程 PID：

bash

netstat -ano | findstr :11434

3. 你会看到一行 LISTENING 的记录，最后一列数字就是 PID（例如 1234）。

4. 强制结束该进程：

bash

taskkill /PID 1234 /F

（请将 1234 替换成你查到的实际数字）

5. 完成后，再执行 ollama serve 即可。

3. 补充：如果你想更换端口

如果你不想关闭现有的，硬要再开一个不同端口的实例，可以修改环境变量：

bash

set OLLAMA_HOST=127.0.0.1:11435
ollama serve

不过一般不建议这样做，因为默认端口只有一个就够了。

总结：你现在这个报错不是故障，而是“服务已在运行”的保护提示。直接忽略它，正常去跑模型就行了。如果模型跑不通，再考虑用方法二重启服务。