银河麒麟内网离线环境部署本地DeepSeek模型

很多使用银河麒麟操作系统的小伙伴想在纯内网的环境下搭建一套本地的DeepSeek大模型，再配合RAG构建属于自己（企业）的本地知识库，那么本篇文档就带领大家学习如何使用银河麒麟操作系统在离线的环境下，搭建DeepSeek大模型！

环境说明

系统介绍	是否联网	作用
Kylin Linux Desktop V10 SP1	是	下载离线机器所需的服务、模型等
Kylin Linux Advanced Server release V10	否	内网运行DeepSeek大模型

步骤总结

1. 首先需要有一台可以联网的机器，用来下载所需的资源，例如ollama、LMStudio和模型文件等
2. 将下载好的ollama、模型文件上传至内网离线的机器中，进行安装并运行

开始部署

联网机器下载ollama

相信下载安装ollama的步骤大家已经轻车熟路，另一篇文档也已经详细记录过，并且还记录了外接Web UI客户端的步骤，详情可以点击 这里

（1）在有网的机器下载对应架构的ollama

$ wget https://ollama.com/download/ollama-linux-amd64.tgz

其他架构README详看：https://github.com/ollama/ollama/blob/main/docs/linux.md

（2）将下载完的ollama安装包同步到离线机器中

$ scp ollama-linux-amd64.tgz root@10.44.68.130:/opt

联网机器下载LM Studio和模型文件

LM Studio也是一款专注于本地部署和运行大型语言模型（LLM）的桌面应用程序，其核心优势在于将复杂的模型部署过程简化为图形化操作。

我们这里下载LM Studio的目的是使用它的模型下载功能，比直接在HuggingFace下载更方便一些。

（1）下载LM Studio

官网：https://lmstudio.ai/，下载对应的版本

（2）授权LM Studio权限，配置仓库代理

下载完成后为，需要给执行权限：

赋予执行权限后，即可打开，

默认情况下国内无法正常加载模型，需要勾选HuggingFace代理才可正常加载HuggingFace中的模型，

打开后进入设置，配置语言、代理：

还可以根据实际情况修改下载的模型存储目录：

（3）开始下载模型

点击左侧的放大镜，搜索deepseek，选择想要下载的模型，点击Download：

正在下载中，默认下载的是gguf格式的模型文件，此格式将所有模型信息（权重、架构、超参数等）封装在单一文件内，更适合离线迁移时使用：

（4）模型下载完毕后，同步至离线机器

$ scp DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf root@10.44.68.130:/root

离线机器中部署ollama及模型

全部文件都准备完毕后，开始在离线机器中进行部署。

（1）部署ollama

# tar -C /usr/local -zxvf ollama-linux-amd64.tgz

配置systemd管理：

# cat > /etc/systemd/system/ollama.service << EOF
[Unit]
Description=Ollama Service
After=network-online.target
 
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/root/.dotnet/tools:/root/bin"
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="CUDA_VISIBLE_DEVICES=3,2"
Environment=“OLLAMA_MODELS=/data/ollama/model” 
[Install]
WantedBy=default.target
EOF

加载systemd，启动ollama：

# systemctl daemon-reload
# systemctl start ollama.service

确认启动成功：

# ss -tnlp | grep 11434

（2）加载模型到ollama

首先在模型所在目录，创建一个Modelfile文件：

# cat > Modelfile << EOF
FROM ./DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
EOF

创建完毕后，开始导入模型：

# ollama create deepseek-r1:7b -f ./Modelfile 
gathering model components 
copying file sha256:16bba29e220550acfe6e8981cfd76b607ae00d8568bef711ff6c0455ddb322b8 100% 
parsing GGUF 
using existing layer sha256:16bba29e220550acfe6e8981cfd76b607ae00d8568bef711ff6c0455ddb322b8 
writing manifest 
success 

# ollama ls

开始使用

# ollama run deepseek-r1:7b
>>> Send a message (/? for help)

结语

到此我们拥有了一个在内网属于自己的离线DeepSeek了，后续可以配合RAG构建专属的本地知识库，欢迎尝试。

银河麒麟文档中心：https://document.kylinos.cn