使用Ollama本地部署大模型

准备运行环境

  1. 安装Ollama
  2. 安装conda环境。(推荐安装Miniconda

安装模型

以7b的deepseek-r1为例。注意,deepseek除了671b的模型,其他的都是蒸馏模型。

  1. 打开Ollama模型下载
  2. 选择合适的模型,并复制模型名称(比如deepseek-r1:7b)
  3. 打开终端(PowerShell),输入命令ollama run deepseek-r1:7b,下载并运行模型。
  4. 在终端可以输入文字与模型对话即安装成功

安装Open WebUI图形界面

  1. 在开始菜单或者终端打开Anaconda PowerShell Prompt
  2. 创建一个虚拟环境,命令conda create -n open-webui python=3.11
  3. 进入open-webui环境,命令conda activate open-webui
  4. 安装Open WebUI,命令pip install open-webui
  5. 启动Open WebUI,命令open-webui serve
  6. 打开浏览器,输入地址localhost:8080,设置用户名、邮箱、密码,即可开始使用

后续启动方法

  1. 启动Ollama(从开始菜单启动即可,启动后没有图形界面,右下角托盘有Ollama图标)
  2. 打开Anaconda PowerShell Prompt命令行,启动Open WebUI
conda activate open-webui
open-webui serve
  1. 打开浏览器localhost:8080即可使用

附图

image
Open WebUI启动成功

image
效果演示

补充资料

  1. 模型蒸馏(Knowledge Distillation,简称 KD)是一种模型压缩技术,其核心思想是利用一个大规模、高性能的教师模型(Teacher Model)训练一个较小的学生模型(Student Model),使得学生模型能够以接近教师模型的能力进行推理。
    参考资料:大语言模型的模型蒸馏:概念、方法与应用
  2. 模型大小的选择一般根据显存大小选择,比如8G显存可以选择8b以下的模型,16G显存可以选择14b模型。超过显存大小也可以使用,Ollama会使用CPU进行推理,生成速度会大幅下降。
posted @ 2025-07-04 17:38  javadoge  阅读(39)  评论(0)    收藏  举报