大模型部署

目录

• 背景和价值
• 参考资料

背景和价值

Ollama、LMStudio适合初学者自己在家里电脑玩一玩，企业级部署我们用的vllm、SGLang、DeepSpeed这种多些，原理是一样的，要看背后的GPU资源有多少。本地的个人电脑能跑个小参数模型玩一玩，所以用Ollama也没啥问题，企业级跑大参数就需要考虑3种接入和部署方式：1）公网API（不安全但便宜）2）私有化部署（需要自建GPU集群，价格高昂）3）租专有云（性价比比较高，且数据安全合规有一定保障）。2、3都需要用专用的高性能/分布式推理框架，Ollama这种轻量级的不太适合。

参考资料