ollama 部署离线大模型

 

https://ollama.com 官网。下载 ollama

 

https://ollama.com/library 仓库清单

 

找到对应的版本，我选择了 deepseek-coder-v2:16b  显卡5070

已安装版本

ollama list

 

运行。初次运行会下载  

ollama run deepseek-coder-v2:16b

 

 

下载cc switch

Releases · farion1231/cc-switch

 

下载vscode

下载vscode  Claude Code for VS Code 插件

 

 

 

curl http://localhost:11434/api/generate -d '{
"model": "deepseek-coder-v2:16b",
"prompt": "你好，请用 Python 写一个 hello world"
}'

 

 

 

工具无法使用

查看文件

ollama show qwen3.5:9b --modelfile

导出

ollama show qwen3.5:9b --modelfile > Modelfile

文件添加

PARAMETER num_predict 16384
PARAMETER num_ctx 32768

导入

ollama create qwen3.5:9b-zkcoi -f Modelfile