会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
奋斗
博客园
首页
新随笔
联系
订阅
管理
2025年2月12日
ollama部署deepseek, 多显卡负载均衡
摘要: ollama部署不再过多描述, 我这有两张4090显卡, ollama run之后查看显卡资源只有一张再用, 想要配置成两张负载均衡使用,需要在service文件中添加如下 Environment="CUDA_VISIBLE_DEVICES=0,1" 代表让ollama能识别到第几张显卡 Envir
阅读全文
posted @ 2025-02-12 14:13 ForLivetoLearn
阅读(11394)
评论(1)
推荐(1)
公告