Ollama本地部署大模型完整教程（Windows）：安装、API调用与常见报错

环境：Windows 11、普通配置（无独显/16G内存）、全程真实安装记录。

解决的问题：普通电脑能不能运行本地AI？Ollama怎么安装、怎么使用、遇到的问题又该如何解决？

先给出结论

最近身边总是有人问我，是否有必要在自己的电脑上安装一个本地AI。大家所关心的问题基本相同：不会安装、电脑容量不够、即使安装了也没有什么用。

我用Ollama来演示一下，把结果放在这里，按照上面的方法去做就可以：

• 电脑内存大于等于16G，并且重视隐私保护和免费的话，那么这款产品就值得购买。
• 如果电脑只有8G内存的话，或者是想在本地玩一个媲美的在线大模型的话，那么就不要浪费时间了。

没有使用任何专业术语，普通的Windows电脑也可以跟着做。

第一部分 什么是Ollama？

Ollama是一种本地AI启动器，是免费且开源的，在用户的电脑上可以运行大模型。

原来在本地跑AI，需要下载安装环境、配置依赖、调试版本，即使是普通的用户也会被劝退。Ollama把所有的准备工作都做好了。它在程序员圈里有多火？GitHub上有十几万颗星，它是本地AI赛道上最火的一个项目。

第二步就是安装，5分钟之内就可以完成

下载

官网只有一个安装文件，大小很小。

安装

双击即可，一直按住“下一步”，没有令人迷茫的选择。会把它的几个服务加入到系统中去，并且会启动一个后台服务。

装好右下角托盘之后会看到一个小羊驼图标，表示它已经处于待命状态。

验证

为了证实已经装好了，在命令行里输入cmd就可以看到结果了。

ollama -V

可以弹出版本号就算通过了，从下载到完成只用了不到5分钟的时间。

三条命令：一条命令

只有一句话是不够的，要让它去工作才行。用 通义千问 （Qwen）模型来回答：

ollama run qwen

第一次运行会下载很多G级别的模型文件，网络好的话很快就可以完成，网络不好就会慢一些——这是整个过程里唯一需要等待的时间。下载完毕之后再打开就可以瞬间启动。

拉到光标前面会有个>>，就可以像正常聊天一样打出文字了。让它写工作总结、解释技术概念、修改代码……回答都是一个字一个字蹦出来的，和在线AI体验一模一样。

想要看到自己已经拉下来的模型可以去查看：

ollama list

其他的常用命令：

• ollama pull 模型名：只下载模型，不对话
• ollama serve：手动启动后台服务

除了通义千问之外，常见的还有跑这些模型：

模型	命令	合适的
通义千问	ollama run qwen	中文也可以用，推荐
深海探索	ollama run deepseek-r1	推理、判断
llama	ollama run llama 3	通用
Gemma	ollama run gemma	轻巧
小模型	ollama run qwen：0.5	小内存救星

四、普通的电脑为什么会出现卡顿的问题呢？主要是因为内存不足

可以运行多大的模型，其实就是一个内存的问题了，下面是一些实际的数据：

内存	可以跑的模型	感受
8GB	7B/8B的小模型、迷你模型	可以使用，但是不要有太大的期望
16GB	7亿、14亿	比较通顺，可以使用
大于或者等于16GB	更大的14B	体验有了很大的改善

有2种硬件可以让你跑得很快：

• NVIDIA独显：软件会自动调用显卡进行加速，速度比普通显卡快很多；
• 苹果M系列芯片：进行了特殊的优化，并且运行得非常好。

两种方式都没有用，用单纯的CPU来运行，但是速度比较慢，需要一些等待的时间。

用这台普通的机器，可以做到随问随答、随心所欲地写作，并不会出现严重的卡顿问题。

五、不偏袒也不偏向任何一方：三个不足

只夸不实测，这样是不行的：

本质上就是命令行。 安装起来很简单，但是对话需要在黑窗口中输入文字，对于初学者来说存在一定的心理障碍。想要看到漂亮的图形用户界面的话，就需要另外安装配套的工具（比如Open WebUI）。

吃硬件。 顶级 大模型 对于普通的电脑来说是承受不了的，这是由物理条件所决定的，并不能通过软件来克服。

只接受GGUF格式的数据。 有些模型跑不掉，要转换，但是转换之后并不一定可以使用。

六、在线版和本地版

那么你就会认为：直接用在线 豆包 /DeepSeek不就完了？

它们的效果确实不错，不需要费太多心思，但是你要做好准备：要联网、有使用限制、数据会在别人服务器上。

如果关心隐私、希望离线使用并且不愿意花费金钱的话，那么本地Ollama就有着无法替代的作用。

七、进阶使用

调用API

Ollama启动之后会在本地开启一个API，默认端口为11434，可以使用curl进行调用：

curl http://localhost:11434/api/generate?model=qwen&prompt=你好

更改模型存储路径

模型默认会放在C盘，并且占用很大一部分空间，可以通过环境变量OLLAMA_MODELS来指到其他的盘。Windows设置环境变量（例如把路径改为D盘）：

setx OLLAMA_MODELS "D:\ollama\models"

完成设置之后再重启终端以及Ollama服务会起作用。

八、常见的错误和异常问题

1. 下载模型速度慢或者出现故障

可以设置代理，也可以到官网模型页上直接下载 GGUF 文件，最后使用ollama create命令来导入。

2. 提示ollama并不是一个内部或者外部的命令

如果环境变量没有起作用的话，那么就关闭命令行再打开；如果还不行的话，就重启电脑或者手动把Ollama安装目录加入到PATH中去。

3. 内存或者显存不够用，模型跑不起来

换成小模型的话，用 qwen :0.5b或者phi3:mini这样的迷你模型就可以了。

4. 端口11434已经被占用

设置环境变量OLLAMA_HOST为一个端口：

setx OLLAMA_HOST "127.0.0.1:11435"

5. 不能安装在Windows系统上

Ollama需要安装Windows 10 22H2或者Windows 11，并且要一直更新操作系统。

最后

经过实际操作发现，Ollama已经把本地玩AI的门槛降到最低，使我们可以拥有一个免费、私密、完全属于自己的AI。

三种人可以用来装：

• 想要使用人工智能而不需要支付会员费用，并且还要保护用户的个人信息。
• 想把数据都放在自己的电脑上，即使没有网络也可以使用。
• 内存为16GB左右，并且可以学习一些基本的命令。

3种人不要花费时间：

• 只有8G内存，还要用到最好的模型效果；
• 一点命令行都不需要去操作，就可以直接使用。
• 只是随便问一句，在线版就可以了。

你的电脑是什么样的配置？在安装中遇到了哪些问题？可以在评论区里提出你的疑问，我会帮你解答。之后我还会对Ollama进行图形界面的测试，并且在普通的电脑上找到最好的模型。

---

标签： Ollama、 本地部署 、大模型、LLM、AI、Windows、通义千问