【大模型技术落地实践】1 - 几种分布式部署范式

背景

大模型需要庞大的算力需求，于是单机单卡无法容纳与日俱增的模型权重文件，大家又想到了分布式

大模型中的几种分布式

1. DP数据并行

最简单的并行方式，每个GPU上有一套完整的模型副本

2. TP张量并行

把模型权重切分开，每个GPU只计算一部分权重

3. PP流水线并行

把模型的层分配给不同的GPU，每个GPU只计算一部分模型层，将中间结果传递给下一个GPU

4. 专家并行

MoE（Mixture-of-Experts）架构中使用很多专家模型，每个请求只需要其中一部分，将这些专家模型放在不同的GPU上，需要时路由到对应的GPU进行计算

参考资料

1. https://www.alibabacloud.com/help/tc/ack/cloud-native-ai-suite/user-guide/deploy-multi-machine-distributed-inference-services