• 博客园logo
  • 会员
  • 众包
  • 新闻
  • 博问
  • 闪存
  • 赞助商
  • HarmonyOS
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录

雇的辣客

雇的辣客
  • 博客园
  • 联系
  • 管理

公告

View Post

DeepSeek 部署系列模型 windows 和 mac 双平台的部署Ollama本地部署

25DeepSeek

windows 和 mac 双平台的部署Ollama

一、基础环境搭建

(一)安装 Ollama

常规下载

deepseek-r1:1.5b    https://ollama.com/library/   deepseek-r1:1.5b

 

首先,访问Oll[1]ama 官[2]网[3] ,根据你的操作系统(Windows、Mac 或 Linux),选择对应的安装包进行下载。

我这里以 mac 和 windows 为例,如果大家安装不了,也可以在我的公众号 nutpi 回复“Ollama”获取快速下载链接。

安装验证

安装完成后,为了确认 Ollama 是否成功安装,在终端输入 ollama -v 。如果安装正确,终端会显示 Ollama 的版本号,这就表明你已经成功完成了基础环境搭建的第一步。

关于如何打开终端,我想说的是

mac 的话,找到这个工具,

windows 的话,win+r 输入 cmd。

然后检查

代码语言:javascript
复制
ollama -v

下载完成后,按照安装向导的提示逐步完成安装。在安装过程中,Ollama 服务会自动在电脑后台运行。

二、模型部署

(一)依据硬件精准选型

打开Ollam[4]a 模型库[5] ,你会看到丰富多样的 DeepSeek-R1 模型版本,如 1.5B、7B、32B 等。根据自身电脑硬件配置来选择合适的模型版本至关重要。

以下是本地部署 DeepSeek 系列模型(1.5B、7B、8B、14B、32B)在 Windows、macOS、Linux 三个平台的最低和推荐硬件配置指南。配置需求主要基于模型的显存(GPU)、内存(RAM)和计算资源需求,同时考虑不同平台的优化差异。


通用配置原则

  1. 模型显存占用(估算):
    • 每 1B 参数约需 1.5-2GB 显存(FP16 精度)或 0.75-1GB 显存(INT8/4-bit 量化)。
    • 例如:32B 模型在 FP16 下需约 48-64GB 显存,量化后可能降至 24-32GB。
  2. 内存需求:至少为模型大小的 2 倍(用于加载和计算缓冲)。
  3. 存储:建议 NVMe SSD,模型文件大小从 1.5B(约 3GB)到 32B(约 64GB)不等。

分平台配置建议

以下按模型规模和平台分类,提供 最低配置 和 推荐配置。

1.5B 模型

平台

最低配置

推荐配置

Windows

- CPU: Intel i5 / Ryzen 5

- CPU: Intel i7 / Ryzen 7

 

- RAM: 8GB

- RAM: 16GB

 

- GPU: NVIDIA GTX 1650 (4GB)

- GPU: RTX 3060 (12GB)

macOS

- M1/M2 芯片(8GB 统一内存)

- M1 Pro/Max 或 M3 芯片(16GB+)

Linux

- CPU: 4 核

- CPU: 8 核

 

- RAM: 8GB

- RAM: 16GB

 

- GPU: NVIDIA T4 (16GB)

- GPU: RTX 3090 (24GB)


7B/8B 模型

平台

最低配置

推荐配置

Windows

- CPU: Intel i7 / Ryzen 7

- CPU: Intel i9 / Ryzen 9

 

- RAM: 16GB

- RAM: 32GB

 

- GPU: RTX 3060 (12GB)

- GPU: RTX 4090 (24GB)

macOS

- M2 Pro/Max(32GB 统一内存)

- M3 Max(64GB+ 统一内存)

Linux

- CPU: 8 核

- CPU: 12 核

 

- RAM: 32GB

- RAM: 64GB

 

- GPU: RTX 3090 (24GB)

- 多卡(如 2x RTX 4090)


14B 模型

平台

最低配置

推荐配置

Windows

- GPU: RTX 3090 (24GB)

- GPU: RTX 4090 + 量化优化

 

- RAM: 32GB

- RAM: 64GB

macOS

- M3 Max(64GB+ 统一内存)

- 仅限量化版本,性能受限

Linux

- GPU: 2x RTX 3090(通过 NVLink)

- 多卡(如 2x RTX 4090 48GB)

 

- RAM: 64GB

- RAM: 128GB


32B 模型

平台

最低配置

推荐配置

Windows

- 不推荐(显存不足)

- 需企业级 GPU(如 RTX 6000 Ada)

macOS

- 无法本地部署(硬件限制)

- 云 API 调用

Linux

- GPU: 4x RTX 4090(48GB 显存)

- 专业卡(如 NVIDIA A100 80GB)

 

- RAM: 128GB

- RAM: 256GB + PCIe 4.0 SSD


平台差异说明

  1. Windows:
    • 依赖 CUDA 和 NVIDIA 驱动,推荐使用 RTX 30/40 系列。
    • 大模型(14B+)需借助量化或模型分片技术。
  2. macOS:
    • 仅限 Apple Silicon 芯片(M1/M2/M3),依赖 Metal 加速。
    • 模型规模超过 14B 时性能显著下降,建议量化或云端部署。
  3. Linux:
    • 支持多 GPU 扩展和高效资源管理(如 NVIDIA Docker)。
    • 适合部署大型模型(14B+),需专业级硬件。

posted on 2025-02-15 09:38  雇的辣客  阅读(331)  评论(0)    收藏  举报

刷新页面返回顶部
 
博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3