我为什么放弃ollama 转到 llama.cpp ?

我为什么放弃ollama 转到 llama.cpp ?

我最早安装部署本地大模型其实就是用的ollama，ollama操作比较简单，直接安装windows基本ok了，增加点环境变量之类的。

1、因为ollama底层用过的也是llama.cpp，性能貌似还差一点。

2、ollama现在作者，没有提及基于llama.cpp的，这在开源界，不是很标准的做法。

3、ollama 下载的大模型文件，文件名是uuid，不直观。

4、我安装的是llama.cpp编译好版本，免去了编译的环节。

5、llama.cpp使用的大模型文件名是gguf后缀名，网上有专门的下载地址https://www.modelscope.cn/models 输入gguf即可搜索到。

6、给大家一个我运行llama.cpp的一个脚本，可以自定义key，以方便其他应用调用：

d:

cd \llama.cpp


llama-server.exe -m .\Qwen3.5-4B-Q4_K_M.gguf -ngl 75 --port 7777 --host 0.0.0.0  --api-key "asdfadfdfdfwe"