3条命令布署本地DeepSeek
curl -fsSL https://ollama.com/install.sh | sh
systemctl start ollama --启动Ollama
ollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF
第一行命令,下载ollama并安装。
第二行命令,运行ollama
第三行命令,下载模型并运行。
其它安装
ollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF --DeepSeek-R1 1.5B 大小1.1G
ollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF --DeepSeek-R1 7B 大小4.7G
ollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF --DeepSeek-R1 14B 大小9G
ollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF --DeepSeek-R1 32B 大小19G
ollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Llama-70B-GGUF --DeepSeek-R1 70B 大小42G
ollama run modelscope.cn/lmstudio-community/DeepSeek-R1-GGUF --DeepSeek-R1 满血版
ollama run modelscope.cn/Intel/Qwen3-Coder-30B-A3B-Instruct-gguf-q4km-AutoRound --阿里第三代编程大模型,千问3 code
ollama run modelscope.cn/unsloth/Qwen2.5-VL-72B-Instruct-GGUF --千问2.5 视觉-语言模型
以下是DeepSeek-R1模型显存需求及显卡建议的表格整理:
模型 | 文件大小 | 显存需求 | 推荐显卡 |
---|---|---|---|
1.5B | 1.1G | ≥1GB | 入门级显卡(如GTX 1650、RTX 3050等) |
7B/8B | 4.7G | ≥4GB | 中端显卡(如RTX 3060、RTX 4060等) |
14B | 9G | ≥8GB | 高端显卡(如RTX 3080、RTX 4070等) |
32B | 19G | ≥18GB | 旗舰级显卡(如RTX 4090、A100等) |
70B | 42G | ≥140GB | 多卡并行(如8张A100 80G) |
671B 满血 | ≥320GB | 超算级配置(如多张A100或H100) |
在 Anolis OS 8 上使用 EPAO 仓库
dnf install -y anolis-epao-release