本地运行大模型-Ollama

首先连接云端大模型会有数据泄漏的问题，所以目前整个趋势都是在自己的服务器或者本机上部署大模型。

在本机运行大模型有许多好处，基于大模型我们可以做一些自己过去很难做的事。

那试了许多方案，在这里发现ollama方案比较好，硬件配置要求低，模型下载环境好。

 

安装方法

打开https://github.com/ollama/ollama，然后按照Install Instruction来安装。

ollama依赖于本地的后台服务。

Windows和Mac都需要启动App，在状态栏里会出现一个图标，此时才能提供服务。Linux需要注册ollama为systemd服务。

 

使用方法

通义千问

例如执行ollama run qwen:7b 会下载通义千问1.5 7b的模型到本地，然后就可以进行对话。通义千问1.5 7b在一般的电脑都可以运行，不一定需要有Nvidia显卡。当然有显卡会更快

 

Codellama

执行ollama run codellama

提示词可以为：输出一段二分排序法查找的代码

 

ollama缺点

• 在提示词很长的时候很容易会出现显存不足的情况
• 不提供OpenAI格式的API