Windows安装与配置Ollama
简介
本节学习如何在 Windows 系统中完成 Ollama 的安装与配置,主要分为以下几个部分:
- 访问官网直接完成下载
- 环境变量配置
- 运行 Ollama
- 验证安装成功🎉
一、访问官网直接完成下载
-
访问官网主页
Ollama 下载:https://ollama.com/download
Ollama 官方主页:https://ollama.com
Ollama 官方 GitHub 源代码仓库:https://github.com/ollama/ollama/ -
等待浏览器下载文件 OllamaSetup.exe,完成后双击该文件,出现如下弹窗,点击
Install
等待下载完成即可。 -
安装完成后,可以看到 Ollama 已经默认运行了。
特别需要注意,windows 的安装默认不支持修改程序安装目录,默认的安装路径下如下位置:
默认安装后的目录:C:\Users\username\AppData\Local\Programs\Ollama
默认安装的模型目录:C:\Users\username\ .ollama
默认的配置文件
目录:C:\Users\username\AppData\Local\Ollama
安装路径默认都在C盘,下载大模型时候,默认数据也会保存到C盘,对于一个上百G的大模型,这会导致C盘可能空间大大减少,带来不便。
通过下面设置,可以更改模型保存到指定的位置,建议在安装Ollama之前就提前做下面修改参数事情!
由于Ollama的模型默认会在C盘用户文件夹下的.ollama/models
文件夹中,可以配置环境变量
OLLAMA
_MODELS
,设置为指定的路径:
二、环境变量配置
Ollma可以像其他软件一样在电脑上完成一键安装,不同的是,建议按照实际需求配置下系统环境变量参数
参数 标识与配置
OLLAMA_MODELS 表示模型文件的存放目录,默认目录为当前用户目录即 C:\Users%username%.ollama\models
Windows 系统 建议不要放在C盘,可放在其他盘(如 E:\ollama\models)
OLLAMA_HOST 表示ollama 服务监听的网络地址,默认为127.0.0.1
如果想要允许其他电脑访问 Ollama(如局域网中的其他电脑),建议设置成 0.0.0.0
OLLAMA_PORT 表示ollama 服务监听的默认端口,默认为11434
如果端口有冲突,可以修改设置成其他端口(如8080等)
OLLAMA_ORIGINS 表示HTTP 客户端的请求来源,使用半角逗号分隔列表
如果本地使用不受限制,可以设置成星号 *
OLLAMA_KEEP_ALIVE 表示大模型加载到内存中后的存活时间,默认为5m即 5 分钟
(如纯数字300 代表 300 秒,0 代表处理请求响应后立即卸载模型,任何负数则表示一直存活)
建议设置成 24h ,即模型在内存中保持 24 小时,提高访问速度
OLLAMA_NUM_PARALLEL 表示请求处理的并发数量,默认为1 (即单并发串行处理请求)
建议按照实际需求进行调整
OLLAMA_MAX_QUEUE 表示请求队列长度,默认值为512
建议按照实际需求进行调整,超过队列长度的请求会被抛弃
OLLAMA_DEBUG 表示输出 Debug 日志,应用研发阶段可以设置成1 (即输出详细日志信息,便于排查问题)
OLLAMA_MAX_LOADED_MODELS 表示最多同时加载到内存中模型的数量,默认为1 (即只能有 1 个模型在内存中)
默认的模型保存路径在C盘,我们把路径更改到有更多可用空间的分区或目录,可以更好地管理存储空间。
添加 OLLAMA_MODELS 环境变量改变模型存储的位置。例如 E:\ollama\models
设置完成后重启 ollama 或 PowerShell,即可完成更改。
三、运行Ollama
命令行语句启动
ollama serve
启动 Ollama 时会报错如下,因为 Windows 系统安装 Ollama 时会默认开机启动,Ollama 服务默认是 http://127.0.0.1:11434
Error: listen tcp 127.0.0.1:11434: bind: Only one usage of each socket address (protocol/network address/port) is normally permitted.
- 解决方法:
-
快捷键
Win+X
打开任务管理器,点击启动
,禁用 Ollama,并在进程中结束 Ollama 的任务。 -
再次使用
ollama serve
打开 Ollama。
- 验证成功启动:
- 快捷键
Win+R
,输入cmd
,打开命令行终端。 - 输入
netstat -aon|findstr 11434
查看占用端口11434的进程。
-
输出: TCP 127.0.0.1:11434 0.0.0.0:0 LISTENING 17556
显示11434端口被17556进程占用
查看该进程运行的情况,发现 Ollama 已经启动。
tasklist|findstr "17556"
输出如下:ollama.exe 17556 Console 1 31,856 K
四、验证安装成功🎉
- 终端输入:
ollama -h
输出如下:即表示安装成功🎉
Large language model runner Usage: ollama [flags] ollama [command] Available Commands: serve Start ollama create Create a model from a Modelfile show Show information for a model run Run a model pull Pull a model from a registry push Push a model to a registry list List models ps List running models cp Copy a model rm Remove a model help Help about any command Flags: -h, --help help for ollama -v, --version Show version information
ollama的语法翻译,供参考:
serve:启动ollama
create:从模型文件创建模型
show:显示模型的信息
run:运行模型
stop:停止运行模型
pull:从注册表中提取模型
push:将模型推送到注册表
list:列出模型列表
ps:列出正在运行的模型
cp:复制模型
rm:删除模型
help:关于任何命令的帮助
使用语法就时 ollama+上面的关键词即可。
模型管理:
- 使用命令行与模型交互:可以使用
ollama list
显示模型列表,ollama show
显示模型信息,ollama pull
拉取模型,ollama push
推送模型,ollama cp
拷贝一个模型,ollama rm
删除一个模型,ollama run
运行一个模型
模型库: https://ollama.com/library/deepseek-r1
五、如何退出deepseek
下图所示,当我们run进入deepseek之后,在会话中命令提示符显示的是“Send a message”,如果要退出deepseek,可以直接输入“/bye”回车即可退出会话。