Ollama
Ollama
官网: https://ollama.com/
github地址: https://github.com/ollama/ollama
官方文档: https://github.com/ollama/ollama/tree/main/docs
下载运行大语言模型,可以离线运行。
Windows下安装
默认会安装到C盘,只能通过命令行自定义安装位置:
.\OllamaSetup.exe /DIR="D:\Ollama"
模型默认也会下载到C盘,可以通过设置用户的环境变量 OLLAMA_MODELS 来修改下载位置
OLLAMA_MODELS: D:\Ollama\models
使用
这里可以搜ollama支持的大模型:
https://ollama.com/library
下载运行模型
# 通义千问模型
ollama run qwen2.5:7b
# llama模型
ollama run llama3.2:3b
可以用Cherry Studio作为图形化界面。
配置认证
Ollama本身不支持认证,如果需要开放给别人使用,可以使用nginx设置代理,进行限制
sudo apt install nginx
创建或修改 /etc/nginx/conf.d/proxy.conf
server {
listen 11435;
server_name _;
# 默认拒绝所有路径
location / {
return 403;
}
# 仅允许/v1/chat/completions
location = /v1/chat/completions {
# 检查Bearer Token(替换your_token为实际密钥)
if ($http_authorization != "Bearer your_token") {
return 401;
}
# 代理到本地11434端口
proxy_pass http://localhost:11434;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
}
}
重启nginx:
sudo systemctl restart nginx
配置后可以这样访问:
curl http://服务器IP:11435/v1/chat/completions -H "Authorization: Bearer your_token"
配置方式来自DeepSeek
信息来源
有些东西,分享就好