本地跑 AI 大模型保姆级教程，Windows/Mac 通用

现在很多家长和上班族想用 AI，但是担心学习麻烦、害怕信息泄露、怕动不动就扣额度。其实不用这么麻烦，自己电脑上就能装一个完全本地、免费随便用的 AI 大模型。

这篇教程专门写给完全不懂代码、没用过命令行的纯新手，一步一步带你在 Mac 或 Windows 电脑上，搭建属于自己的本地 AI。装好之后不用联网、不花一分钱、不消耗任何 Token，想用就用，安心又方便。

你需要准备什么

1. 一台电脑：Mac（M 系列芯片用起来最顺）或者 Windows 电脑都可以

2. 运行内存：8GB 只能跑小模型；想跑 Gemma 4 这类效果好的，建议至少 16GB 内存，越大越流畅

3. 网络：只在第一次下载模型时需要，之后断网也能正常使用

✅ 第一步：先测测你的电脑能跑什么模型

很多人安装本地模型失败，原因特别简单：下了自己电脑带不动的模型。要么直接报错，要么卡得要死，根本没法用。

所以第一步，先去👇这个网站测一下你的硬件适配性：

https://www.canirun.ai/

进去之后，选上你的电脑配置：内存、CPU、显卡，网站会自动帮你筛选出能流畅运行的模型，还会按适配程度排好序。你也可以直接搜名字，比如 gemma4 或 qwen3.5，看看分数高不高，心里有数再下载。

这个工具里你可以选择你机器型号，对应的 RAM、CPU、GPU，然后从几百个模型里筛出哪些能跑，按适配度排好给你看。

同时也可以搜索你感兴趣的模型名（google/gemma4 或 qwen/qwen3.5），看一眼它后面的分数。

🦙 第二步：安装 Ollama

Ollama 是目前新手装本地 AI 最简单的工具，负责模型下载、运行，还自带接口，不用你折腾复杂设置。

打开官网下载对应系统版本：

https://ollama.com/download

安装完成后，电脑菜单栏会出现一个 🦙 小图标（如上图），看到它就说明安装成功了，会在后台默默运行。

⚠️ 第三步：选一个模型下载

目前效果比较好、又适合本地跑的，推荐两个：

谷歌的 Gemma 4 和阿里的 Qwen3.5。

根据你刚才测出来的配置，选合适的版本就行。Ollama 可以同时装多个模型，想用哪个切哪个，非常方便。

在聊天对话框输入下列对应的命令，操作方式和网页版AI一样进行下载安装。

下载 Gemma 4（以 26b 为例）命令：

ollama run gemma4:26b

下载 Qwen3.5（以 27b 为例）命令：

ollama run qwen3.5:27b

输入后按回车键，模型就会自动开始下载。文件比较大，耐心等一会儿就好，不用一直盯着。

⬇️ 第四步：测试一下，确保正常运行

下载完成后，会自动进入对话模式。

你随便问一句测试一下：你是谁？

能正常回答，就说明本地 AI 部署成功了。

⚠️ 注意：有时候网络中断会导致文件没下完整，表面看着装好了，实际一用就报错。先测试一遍更稳妥。

下载好的模型会保存在本地列表里，不用重复下载，之后没网也能照常使用。

小提醒：菜单栏的 🦙 图标是用来开关服务、看运行状态的，不是聊天界面，别点错啦。

⚙️ 进阶：接入你平时现有用的工具

Ollama 运行后，会在开放一个API接口，默认地址是localhost:11434。只要支持自定义接口的工具，都可以接进来用。因每个工具的配置方式不同，后续看大家反馈，有需要再写进阶篇再展开。目前我个人使用WorkBuddy，接入后运行很稳定，正常使用没有任何问题。

有个情况就是，如果说在模型下载到一半断了要怎么办？我们可以重新执行 ollama run 模型名 就可以，Ollama 支持断点续传，会接着上次的进度继续下载。

再一个就是如果你的电脑本地的大模型跑起来速度特别慢，这个怎么办？基本上是模型太大、内存不够用，都会导致系统开始用硬盘来补内存。可以试着换一个更小的版本，速度会明显改善。另外就是如果我们平时在系统菜单栏，如果🦙图标还在的话，Ollam就还在后台运行，API接口也还开着。想彻底关掉，右键点图标选 Quit 即可。

有什么问题大家可以留言交流。

近期有养虾计划的可以看看腾讯WorkBuddy这个👇，我自己用了一段时间感觉挺好用的。现在注册有活动送3000积分。