cuda 是英伟达推出的一种并行计算平台和编程模型
它允许开发者利用英伟达gpu(图形处理单元)的强大计算能力来加速计算密集型任务,而不是仅仅用于图形渲染
注意:让原本cpu计算的任务,被cuda转换为gpu显卡计算的任务显卡并行计算能力远高于cpu,所以可以加速计算性能
linux安装ollama-linux-amd64.tgz
解压到/usr
sudo tar -xvf ollama-linux-amd64.tgz -C /usr
查看ollama版本
ollama -v
启动ollama
ollama serve
ollama的linux安装
https://github.com/ollama/ollama/blob/main/docs/linux.md
创建ollama运行所用用户
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)
配置ollama为系统服务,方便启动、停止
sudo vi /etc/systemd/system/ollama.service
内容如下:
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
[Install]
WantedBy=multi-user.target
启动服务
sudo systemctl daemon-reload
启动Ollama
sudo systemctl start ollama
ollama下载deepseek模型7b
ollama pull deepseek-r1:7b
运行模型
ollama run deepseek-r1:7b
============= 其他命令 ===================
查看ollama状态
sudo systemctl status ollama
停止ollama
sudo systemctl stop ollama
禁止ollama开机自启动
sudo systemctl disable ollama
ollama的用户目录
cd /usr/share/ollama
模型位置
cd /usr/share/ollama/.ollama/models/blobs
列举模型文件有哪些
ll -h
浙公网安备 33010602011771号