2025年6月5日
关于Ollama多容器部署Deepseek大模型集群访问的负载均衡方案
摘要： 起因: 公司资金有限, 只采购一台大模型服务器, 上边配置有5块L20显卡, 开发通过ollama的接口来调用DeepSeek, 多并发访问时服务会频繁报错499和500. 解决方案: 1. 利用现有资源, 通过openresty(nginx)来实现多个ollama容器(每个容器指定一块L20)的负 阅读全文
posted @ 2025-06-05 12:04 天海沙 阅读(429) 评论(0) 推荐(0)