本地部署大模型：Ollama安装+deepseek部署+Dify接入

第一步：在您的Windows电脑上部署Ollama和DeepSeek模型

1.1 安装Ollama（使用国内镜像）

（1）下载：

　　# 从国内镜像高速下载（解决您之前官网慢的问题）
　　# 方法A：CNB镜像直链
　　https://cnb.cool/hex/ollama/-/releases/latest/download/OllamaSetup.exe

　　# 方法B：使用PowerShell下载并安装（管理员模式）
　　Invoke-WebRequest -Uri "https://cnb.cool/hex/ollama/-/releases/latest/download/OllamaSetup.exe" -OutFile "OllamaSetup.exe"
　　Start-Process "OllamaSetup.exe"

（2）安装：

　　双击下载好的安装包，按提示完成安装（默认安装在C盘）。建议在安装前，按住Shift键并右键点击安装包所在文件夹的空白处，选择“在此处打开 PowerShell 窗口”，然后输入 .\OllamaSetup.exe /DIR=D:\Ollama（可更换为你希望的安装路径）来自定义安装位置，避免占用C盘空间。

1.2 拉取并运行DeepSeek模型（关键！）

　　安装成功后，在cmd界面输入以下执行语句，拉取成功后通过输入ollama list查看是否安装成功

# 拉取DeepSeek-Coder 7B的4-bit量化版，这是适配您16GB内存的最佳选择 [citation:1][citation:7]

ollama pull deepseek-coder:6.7b

第二步：在您的Windows电脑上部署Dify社区

2.1 安装Docker Desktop

下载与安装：访问 Docker官网（https://www.docker.com/）下载Docker Desktop for Windows并安装。安装过程中会提示启用WSL2等相关功能，请按提示重启电脑。（对于我的电脑选择windows_AMD64进行安装）
验证：安装后，在cmd命令行中输入 docker --version，若能正常显示版本号，则安装成功。

2.2 下载并启动Dify

在电脑上创建一个新文件夹，例如 D:\dify。
打开命令提示符 (cmd)（注意：不是PowerShell），并切换到该目录cd /d D:\dify

cd /d D:\dify

下载Dify的Docker Compose配置文件。在cmd下继续执行以下操作，成功后会在D:\dify目录下存在docker-compose.yaml文件

curl.exe -O https://raw.githubusercontent.com/langgenius/dify/main/docker/docker-compose.yaml

启动Dify容器，在D:\dify目录下，cmd执行以下命令，Dify就会开始启动（首次启动会下载必要的镜像，请稍等几分钟。启动后，可以执行 docker ps 查看所有容器是否都处于 Up 状态

docker compose up -d

在执行这行代码的时候，有时候会因为网络问题报错，提示Interrupt，因为网络问题需要在docker中配置镜像，具体操作是

右键系统托盘Docker图标，选择 Settings（设置）。
左侧选择 Docker Engine。

在配置JSON中，找到 registry-mirrors 字段，如果没有就手动添加。填入国内镜像源，例

{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "debug": false,
  "experimental": false,
  "insecure-registries": null,
  "registry-mirrors": [
    "https://ufe3o0ts.mirror.aliyuncs.com/",
    "https://docker.1ms.run/",
    "https://docker.xuanyuan.me/",
    "https://dislabaiot.xyz/",
    "https://docker.sunzishaokao.com/",
    "https://hub.rat.dev/",
    "https://doublezonline.cloud/",
    "https://dislabaiot.xyz/",
    "https://xdark.top"
  ]
}

访问并初始化DIfy。
- 打开浏览器，访问 http://localhost （如果无法访问，尝试 http://localhost:3000 ）。
- 首次访问会进入初始化页面，根据提示设置管理员邮箱和密码，然后登录

2.2 启动Dify可能遇到的问题

有时候容器未成功拉取，导致浏览器无法访问，需要查看具体问题，根据日志报错问题依次解决

#查看所有容器状态
docker compose ps
# 查看没有成功拉取容器的日志
docker compose logs api

　如果是因为端口冲突问题可以修改以下代码

第三步：在您的Windows电脑上部署Dify社区

3.1 解决“尚未安装模型供应商”

你看到的“尚未安装模型供应商”是因为还没有添加任何模型供应商。Dify 本身不内置模型，需要手动添加。请按以下步骤添加 Ollama（用于连接你本地的 DeepSeek 模型）。

在 Dify 主界面，点击右上角的头像图标，选择 “设置”（Settings）。
在左侧菜单中，选择 “模型供应商”（Model Providers）。此时页面中间会显示“尚未安装模型供应商”和“添加模型供应商”按钮。
点击 “添加模型供应商”，在弹出列表中搜索或找到 Ollama。
点击 Ollama 卡片，进入配置页面。填写以下信息：
- 模型类型：选择 LLM。
- 模型名称：输入你通过 ollama pull 下载的模型名称，例如 deepseek-coder:6.7b-q4_0。
- 基础 URL：填写 http://host.docker.internal:11434 （必须填写这个地址，因为 Dify 运行在 Docker 容器内，需要通过 host.docker.internal 访问宿主机上的 Ollama）。
- 其他参数：如 Max Tokens 等可以保持默认或根据需求调整。
点击 “保存”。如果配置正确，页面会提示“已连接”，并且 Ollama 会出现在模型供应商列表中。

3.2 创建“数据库查询助手”应用（连接 MySQL）

接下来创建一个工作流应用，实现自然语言查询 MySQL 数据库。

1. 创建应用

回到 Dify 主界面，点击 “创建空白应用”。
选择 “工作流”（Workflow）类型。
填写应用名称，例如 “走行部数据查询助手”，点击“创建”。

2. 设计工作流

工作流画布默认包含开始节点和结束节点。我们需要添加两个节点：LLM 节点和代码节点。

2.1 配置开始节点

点击画布上的开始节点，在右侧配置中添加一个输入变量：
- 变量名：user_query
- 类型：字符串
- 描述：用户输入的自然语言问题

2.2 添加 LLM 节点（将自然语言转为 SQL）

第四步--案例应用：在本地电脑上像聊天一样完成数据查询

posted @ 2026-03-05 13:31 bethansy 阅读(0) 评论(0) 收藏举报

刷新页面返回顶部

bethansy