DeepSeek-R1-671B 部署指南

 

DeepSeek-R1-671B 部署指南

一、硬件配置

1. GPU（核心资源）

• 推荐型号：
  • NVIDIA H100（显存带宽 3.35 TB/s）
  • NVIDIA A100 80GB
  • 多卡组合：8×H100 或 16×A100
• 显存需求：
  • 全精度：约 1342GB
  • Int8 量化：约 671GB

2. CPU 与内存

• CPU：AMD EPYC 9xx4 / Intel Xeon Platinum 8xxx（64+ 核）
• 内存：1TB+ DDR5 ECC

3. 存储与网络

• 存储：1.3TB NVMe SSD
• 网络：NVLink 4.0 或 InfiniBand HDR

二、软件配置

1. 深度学习框架

• PyTorch + DeepSpeed
• TensorRT-LLM
• vLLM

2. 分布式计算策略

deepspeed --num_gpus 8 infer.py --deepspeed_config ds_config.json

三、部署方案

方案 1：本地集群

• 8×H100 + 64 核 CPU + 1TB 内存

方案 2：云端部署（AWS）

• 实例类型：p5.48xlarge（$98.32/小时）

四、性能参考

配置	显存占用	推理速度（Tokens/s）	并发请求数
8×H100（FP8）	671GB	1200+	100+
16×A100（BF16）	1342GB	600	50

五、注意事项

• 确认模型许可证
• 使用 vLLM 实现动态批处理
• 部署 Prometheus + Grafana 监控