Ollama本地离线部署代码大模型CodeGeeX4完整教程
一、Ollama部署开源大模型
Ollama通过命令行安装大模型及运行大模型
以部署官网deepseek-r1:32b为列，打开官网找到deepseek-r1找到32B版本,点击复制按钮，复制版本信息
运行如下命令，实现安装运行。
ollama run deepseek-r1:32b
注意点：如果千M网下载速度是很多快的，如果下载后面或者出现慢的情况，可以Ctrl+C进行结束安装，然后就行运行ollama run deepseek-r1:32b命令，可以继续下载，而且速度会提升。
Ollama如何部署从外部下载的大模型文件
1.需要创建一个ModelFile文件
2ModelFile文件的内容一定填写正确，否则会出现很奇怪的问题
列如ollama官方安装deepseek 32B模型是Q4量化版本，如果我要ollama运行Q8量化的版本该如何做呢？
1.从hangface上下载deepseek 32B Q8量化版本
2.ollama通过命令行获取已安装的deepseek 32B Q4量化版本ModelFile信息
ollama show deepseek-r1:32b --modelfile
一般信息如下：
FROM C:\Users\Admin\.ollama\models\blobs\sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93
TEMPLATE """{{- if .System }}{{ .System }}{{ end }}
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1}}
{{- if eq .Role "user" }}<｜User｜>{{ .Content }}
{{- else if eq .Role "assistant" }}<｜Assistant｜>{{ .Content }}{{- if not $last }}<｜end▁of▁sentence｜>{{- end }}
{{- end }}
{{- if and $last (ne .Role "assistant") }}<｜Assistant｜>{{- end }}
{{- end }}"""
PARAMETER stop <｜begin▁of▁sentence｜>
PARAMETER stop <｜end▁of▁sentence｜>
PARAMETER stop <｜User｜>
PARAMETER stop <｜Assistant｜>
LICENSE """MIT License
Copyright (c) 2023 DeepSeek
Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.
"""
3.将输出信息拷贝并创建一个新的ModelFile文件
4.将上面的信息复制到创建一个新的ModelFile文件(如deepseek-r1-32b-q8.ModelFile)中，并将第一句化FROM 改成你的Q8模型路径文件
FROM d:/DeepSeek-R1-Distill-Qwen-32B-Q8_0-GGUF/DeepSeek-R1-Distill-Qwen-32B-Q8_0.ggu
...
5.然后可以通过如下安装模型文件了
ollama create deepseek-r1:32-q8 -f d:\deepseek-r1-32b-q8.ModelFile
6.运行大模型
ollama run deepseek-r1:32-q8
二、Ollama Rest API的验证和使用
Ollama Rest API 部分API说明
1.获取已部署模型信息
http://localhost:11434/api/tags
2.兼容OPEN API
http://localhost:11434/v1/chat/completions
三、CodeGeex配置Ollama运行的模型
配置界面如下图
根据自己配置连接和模型情况（如果API Key还需要配置).这里遇到一个坑，我按设置地址始终连不上，报连接错误信息，后来查阅资料需要配置
跨域和所有IP访问相关环境变量设置如下，然后重启机器就好，这里不太清楚是设置如下几个环境变量成功，还是安装CodeGeex重启导致成功，需要后验证
设置的几个环境变量如下：
实现跨域
OLLAMA_ORIGINS=*
外网访问
OLLAMA_HOST=0.0.0.0
四、参考连接
0.【AI基础】大模型部署工具之ollama的安装部署以及api调用
1.免费的visual studio智能代码插件——CodeGeeX
2.首个适配Visual Studio平台的国产智能编程助手CodeGeeX正式上线！C#程序员必备效率神器！
4.本地离线部署代码大模型CodeGeeX4完整教程（提升Java编程效率）
五、WebUi相关
7个用于运行LLM的最佳开源WebUI
1.Open WebUI（Ollama WebUI）
2.Text Generation Webui
3.Anything LLM
4.LibreChat
5.Web LLM
6.OpenLLM
7.LoLLMs
浙公网安备 33010602011771号