docker部署codegeex4实现本地IDE编程助手

实现了使用docker运行的ollama作为VSC或者其他IDE的编程助手,实现本地化的AI推理

环境

debian12
docker
ollama

环境配置

ollama

参考 ollama在docker中使用 可以实现在docker中使用ollama

• 支持GPU,但是需要配置Nvidia container toolkit

使用指令启动服务

docker run --rm -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

如果出现端口被占用的情况,就更换一个端口

当ollama在docker中启动的时候,启动指令就是ollama serve

我的11434端口处于占用,所以,使用了11432端口

测试ollama是否启用

使用docker ps指令检查容器的状态

在浏览器中打开对于的IP+port可以检查ollama serve是否启动,处于可以被外部访问的状态.

模型

参考 本地化部署codegeex4

模型下载

参考 ollama的codegeex4下载

ollama pull codegeex4

测试模型

终端访问

使用docker exec -it ollama /bin/bash进入容器内部

在终端中运行模型测试效果

ollama run codegeex4

效果如下

API调用

参考 API官方文档

curl http://localhost:11434/api/chat -d '{
  "model": "codegeex4",
  "messages": [
    {
      "role": "user",
      "content": "写一段JS代码,输出hello world!"
    }
  ]
}'

效果如图

VSC设置

参考github的配置方式

我设置地址为http://192.168.1.106:11432/v1/chat/completions, 模型名字为codegeex4
之后会显示已连接代表成功

测试效果

成功可以补全代码了

• 对性能要求不高, 感觉很适合本地化部署和使用