本地部署DeepSeek R1

本地部署DeepSeek R1

写在最前面，感谢b站up主NathMath 分享的视频教程：
DeepSeek R1 推理模型 完全本地部署 保姆级教程 断网运行 无惧隐私威胁 大语言模型推理时调参 CPU GPU 混合推理 32B 轻松本地部署
本文章也是根据教程实操总结得出，如根据本文章无法部署成功，建议观看up主的视频教程，超级详细！！！

1. 背景及硬件环境

DeepSeek最近特别火爆，之前使用的都是在线模型，b站有up主分享了视频教程，于是跟着视频部署了自己的本地DeepSeek。同时总结图文，记录部署过程。
我的硬件环境：
处理器：AMD Ryzen 5 7500F 6-Core Processor
显卡：AMD RX 6750 GRE 10GB （非N卡，无cuda加速）
RAM： 16G*2

2. 部署过程

2.1 安转 LM studio

  1. 进入LM studio官网，下载安装包。
    官网链接：https://lmstudio.ai/
    image-20250130213807510
  2. 安装，安装存储路径自己平时放软件的路径就行，无其他操作。安装完成后界面如下。
    image-20250130213959662

2.2 配置网络防火墙

  1. 找到防火墙配置位置。如下图。
    image-20250130214557706

  2. 配置入站规则，如图配置后选择下一页。
    image-20250130214901871

  3. 选择程序路径，如下图。选择好后点击下一页。
    image-20250130215559623

  4. 配置“操作”，选择阻止连接，同时在配置“配置文件”使用默认配置全部网络环境都使用该规则。

    image-20250130215907702
    image-20250130215948497

  5. 配置规则名称
    image-20250130220225812

  6. 相同操作配置elevate程序（该程序用于提升权限）的入站规则，如下图。
    image-20250130220526585

  7. 相同操作配置lms程序（该程序用于提升权限）的入站规则，如下图。
    image-20250130220923331

  8. 同样的操作，在出站规则进行创建。
    image-20250131021100279

  9. 验证防火墙是否设置成功。LM stuido界面检索模型时提示信息获取失败。
    image-20250130221821570

2.3 下载模型

方法一：在LM studio下载模型（大部分模型需要用梯子才可以下载，而且速度很慢，不推荐）

方法二：在huggingface下载，国外网站，直接访问要用梯子。可以使用镜像网站。
国内镜像地址：HF-Mirror

  1. 检索：DEEPSEEK R1 32B GGUF
    image-20250130230613187

  2. 选择对应的库，选择自己要的模型版本进行下载。

  3. image-20250130231249158
    image-20250130231550886

  4. 下载速度过慢可借助迅雷p2p下载，极快。

    image-20250130232355986
    在迅雷中粘贴链接进行下载。

    image-20250130232841388

2.4 导入模型、调参

  1. 使LM studio能够找到模型

    image-20250131014445150
    层级数量必须满足下图，否则无法显示模型

image-20250131014520606

  1. 选择模型
    image-20250131014916032

  2. 调整参数
    image-20250131015614383

    image-20250131015723414
    然后就可以开始提问了。

3. 最终效果

32B模型跑起来很慢，只有 2 tok/sec左右，适合细致困难问题

image-20250131013438886

image-20250131013340593
1.5B模型速度快，有40+tok/sec，但难题分析能力不如32B

image-20250131014028466

posted @ 2025-01-30 23:26  Arsun  阅读(672)  评论(0)    收藏  举报