3条命令布署本地DeepSeek
curl -fsSL https://ollama.com/install.sh | sh

systemctl start ollama --启动Ollama

ollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF

第一行命令,下载ollama并安装。
第二行命令,运行ollama

第三行命令,下载模型并运行。

 

 

 

其它安装

ollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF               --DeepSeek-R1  1.5B      大小1.1G

ollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF          --DeepSeek-R1  7B          大小4.7G 

ollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF                --DeepSeek-R1  14B       大小9G

ollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF                --DeepSeek-R1   32B      大小19G

ollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Llama-70B-GGUF           --DeepSeek-R1   70B       大小42G

ollama run modelscope.cn/lmstudio-community/DeepSeek-R1-GGUF              --DeepSeek-R1    满血版      

ollama run modelscope.cn/Intel/Qwen3-Coder-30B-A3B-Instruct-gguf-q4km-AutoRound                       --阿里第三代编程大模型,千问3 code

ollama run modelscope.cn/unsloth/Qwen2.5-VL-72B-Instruct-GGUF                                     --千问2.5 视觉-语言模型

 

以下是DeepSeek-R1模型显存需求及显卡建议的表格整理:

模型文件大小显存需求推荐显卡
1.5B 1.1G ≥1GB 入门级显卡(如GTX 1650、RTX 3050等)
7B/8B  4.7G ≥4GB 中端显卡(如RTX 3060、RTX 4060等)
14B 9G ≥8GB 高端显卡(如RTX 3080、RTX 4070等)
32B 19G ≥18GB 旗舰级显卡(如RTX 4090、A100等)
70B  42G ≥140GB 多卡并行(如8张A100 80G)
671B 满血   ≥320GB 超算级配置(如多张A100或H100)

 

在 Anolis OS 8 上使用 EPAO 仓库

dnf install -y anolis-epao-release

 

 

posted on 2025-02-16 22:47  yi-sheng  阅读(134)  评论(0)    收藏  举报