GPU 服务器

GPU 服务器

Universal GPU systems

GPU Lines with PCIe 5.0

NVIDIA MGX Systems

参见：GPU 服务器价格 | Supermicro eStore

存储服务器

资源

AS -5126GS-TNRT

  • 主板：H14DSG-O-CPU
  • 机箱：CSE-528G2TSR000NDP
  • 用户手册

AS -4125GS-TNRT

通用资源

从 X13 系列开始的主板全部使用 JSON key，生成该 key 需要 Supermicro 私钥进行签名，因此无法使用工具破解。参见：What about SFT-DCMS-SINGLE License key? | GitHub

SAA

SAA 是下一代全功能 CLI 工具，将所有 Supermicro 基于 CLI 的软件功能整合在一起，包括 SUM 和 SMCIPMITool、IPMICFG，形成一个统一的解决方案。

Redfish

Redfish 是 DMTF（Distributed Management Task Force）制定的基于 RESTful API 的开放管理标准，用于现代数据中心的带外（OOB）服务器管理。

安装 Redfish：下载并解压 BIOS/BMC 安装包后，执行：

sudo bash saa*/script/Linux_enable_RHI.sh
  • In-Band：带内管理
  • OOB：带外管理（Out-of-Band）

IPMIView

sudo ./IPMIView20  # X11 转发时需使用 sudo -E

IPMIView 有一个远程 console 功能，可以将服务器控制台窗口转发到 HTML5，可以帮助调试启动问题。

SSM

sudo ./SSMInstaller_*_linux_x64_*.bin

SOL

  1. 内核参数启用串行控制台

    sudoedit /etc/default/grub

    GRUB_CMDLINE_LINUX="console=tty0 console=ttyS1,115200n8"
GRUB_TERMINAL="console serial"
GRUB_SERIAL_COMMAND="serial --speed=115200 --unit=0 --word=8 --parity=no --stop=1"

    UEFI 默认转发 COM2，因此需启用内核 ttyS1 输出（ttyS0 = COM1）

  2. 启用串行终端服务

    systemctl enable serial-getty@ttyS1.service
systemctl start serial-getty@ttyS1.service

  3. 连接 SOL：

    saa -i <bmc-ip> -u <username> -p <password> -c Sol --action Activate

命名惯例

Server (A+ Server)

image

Character Representation Options
Prefix Product Category • AS = A+ Server or Workstation
• ASG = A+ Storage System
1st Form Factor • 1 = 1U
• 2 = 2U
• 3 = 3U
• 4 = 4U
• 8 = 8U
• A = 10U
2nd HD Tray Type / Chassis • 0 = 3.5"
• 1 = 2.5" or EDSFF
3rd Processor Count • 1 = Single
• 2 = Dual
• 4 = Quad
4th Generation • 6 = 6th Gen: EPYC™ 9005 series (Socket SP5) or Instinct™ MI300A APUs (Socket SH5)
• 5 = 5th Gen: EPYC 9004 series (Socket SP5) or EPYC 8004 series (Socket SP6) or EPYC 4004 series (Socket AM5) or Ryzen 7000/8000/9000 series (Socket AM5) or Ryzen Threadripper™ PRO 7000WX series (Socket sTR5)
5th & 6th Server Platform or MB platform/Chipset/Socket • A = Socket AM5 (Zen 4)
• C = CloudDC (5th)
• FT = FlexTwin™
• H = Hyper architecture (5th); Socket SH5 (6th)
• G = GPU
• GT = GrandTwin®
• MR = MicroCloud
• S = Socket SP5/SP6 (Zen 4)
• V = Socket sTR5 / WRX90 Chipset
7th/8th/9th and beyond Additional Features • 1 = Single Root
• 2 = Dual Root
• B = NVIDIA Blackwell Architecture
• H = NVIDIA Hopper Architecture
• LCC = Liquid cooling
• M = MI300A/X
• N = NVMe
• T = SATA
• R = Redundant Power

SuperServer (2.5" HDDs)

image

Character Representation Options
Prefix Product Category • SYS = Intel SuperServer
1st Chassis Form Factor • 1 = 1U
• 2 = 2U
• 4 = 4U
• 7 = Tower
2nd CPU/Socket Quantity • 1 = Single Processor (UP)
• 2 = Dual Processor (DP)
• 4 = Dual Processor (DP), 4U
3rd Generation • 1 = X13 Series
• 0 = X12 Series
4th GPU Info. • GP = GPU
• GQ = Quad GPU
5th Storage Features • T = SATA
• N = NVMe
6th GPU (Optional) • A = A100 SXM4
7th Power Type • R = Redundant Power Supplies
8th Connectivity • T = 10GbE

参考：Best GPU Server from Supermicro for Modern Data Center | Supermicro

服务器组件

BMC

BMC 是服务器的一个附属主机，用来监控和管理服务器。BMC 一般提供 Web UI、Redfish API、IPMI 协议，以及 SSH 接入方式。

PCIe 配置

  • Single Root：1 个 CPU 通过 2 个 PLX 交换机与所有 GPU 通信。适合通用工作负载。
  • Dual Root：2 CPU 分别通过 1 个独立的 PLX 交换机与 GPU 通信。适合深度学习，HPC
  • Direct Attached：没有 PLX 交换机，所有 PCIe 通道直接连接到 CPU 进行通信。适合图形渲染和视频编辑。

参考：

硬盘

维度 E3.S NVMe 2.5" SAS/SATA 2.5" NVMe (U.2)
尺寸 76 × 7.5 × 112.75 mm (1T) 69.85 × 7/15 × 100 mm 同 SAS/SATA
接口 PCIe Gen4/5 x4 SAS-3/4 (12/24 Gbps) 或 SATA (6 Gbps) PCIe Gen3/4 x4
理论带宽 ~14 GB/s (Gen5) SAS: 2.4 GB/s / SATA: 600 MB/s ~8 GB/s (Gen4)
功耗上限 25-40W 通常 <15W 通常 <25W
散热设计 金属外壳优化散热，支持直接接触散热片 依赖机箱气流 依赖机箱气流
热插拔 原生支持 支持 支持
部署密度 1U 可装 32 块 1U 可装 24 块 1U 可装 24 块

关键差异

  1. 性能天花板：E3.S 专为 PCIe Gen5 设计，单盘带宽可达 14 GB/s；而 2.5" U.2 停留在 Gen4，SAS/SATA 更是数量级落后。

  2. 散热能力：E3.S 的扁平金属外壳设计允许更大的散热面积和更好的热传导，适合持续高负载。2.5" 规格在高功耗场景下容易过热降速。

  3. 密度与布线：E3.S 支持更高密度部署，且 EDSFF 连接器比 U.2/SFF-8639 更紧凑，减少背板复杂度。

  4. 生态成熟度：2.5" 规格历史悠久，服务器/存储阵列兼容性极佳，配件便宜。E3.S 需要新一代服务器平台支持，目前主要出现在 Intel Eagle Stream、AMD Genoa 及之后的平台。

主流产品

厂商 型号 接口 容量上限 核心场景
Samsung PM1743 Gen5 15.36TB 通用企业、AI/ML
Samsung BM1743 Gen5 30.72TB 读密集、数仓
KIOXIA CM7-R/V Gen5 30.72TB 企业关键应用
KIOXIA CD8P Gen5 15.36TB 超大规模数据中心
Solidigm D7-PS1030 Gen5 12.8TB 写密集、AI 管道
Micron 9400 Gen5 30.72TB AI 训练、高密度部署

网络接口

接口类型

  • RJ45（Registered Jack 45）：最常见的电网络接口，支持 10GbE（10 Gigabit Ethernet）网络传输。

    20250831-020454

  • SFP+（Small Form-factor Pluggable）：光网络接口，支持 10GbE 和 8G Fibre Channel 等应用。

    20250831-024508

  • SFP28：SFP+ 的升级版本，主要用于 25GbE。

  • QSFP28（Quad Small Form-factor Pluggable）：支持多通道高带宽连接的光模块接口标准，“28”表示每通道提供 28Gbps 的带宽。

    20250831-025510

  • OSFP（Octal Small Form-factor Pluggable）：专为支持高达 400Gbps 的数据传输速率而设计的光模块接口标准。

    20250831-025707

接口品牌

  • 100-Gigabit MCX623106AN-CDAT (2 x QSFP56)：Mellanox（迈络思），2020 年被 NVIDIA 收购。MCX6 是 Mellanox 公司的 ConnectX-6 Dx 系列产品。
  • 100-Gigabit BCM57508 (2 x QSFP28)：Broadcom（博通）
  • 100-Gigabit CX-4 (2 x QSFP28)：Mellanox 公司的 ConnectX-4 Lx 系列产品。

电源接口

  • RTX PRO 6000 使用 12V-2x6 接口（外有 H++ 标识）
  • 主板使用 MicroHi 2x4Y 接口
  • 电源是 PWS-2K08A-1R

关于 12V-2x6 接口，参见：

螺丝

安装时注意到两种类似的螺丝：

#6-32x5/16" Phillips Hex Head Serrated Flange Bolts

image

image

这两个螺丝的区别是带不带齿。带齿的版本用于固定产生震动的物体，如风扇。不带齿的版本用于固定普通物体。

  • Flanged Hex：法兰六角头（Head Style）flanged-hex
  • Phillips：十字槽（Drive Style）phillips
  • #6-32：螺纹尺寸（Thread Size）
  • 5/16"：螺栓长度

参见：Computer case screws | Wikipedia

CPU

Intel Xeon

Intel Xeon 6952P
           ││││└─ 产品后缀
           │└┴┴─ SKU 编号
           └──── 世代数字
  • 世代数字（6）：表示第 6 代 Xeon 架构，数字越大代表越新的架构
  • SKU 编号（952）：第一位数字 9 通常表示性能级别，数字越大性能越强。后两位 52 是具体的产品型号区分
  • 产品后缀字母：P = Performance，E** = Efficiency

硬盘

  • SIE：Secure Instant Erase，企业级快速数据擦除功能
  • ISE：Instant Secure Erase，与 SIE 类似，方便数据销毁
  • SED：Self-Encrypting Drive，自加密盘，保障数据安全
  • OPAL：OPAL 协议支持，数据加密增强标准
  • Dual-Port：双端口，利于服务器冗余和热备
  • Single-Port：单端口，适合单机架或成本敏感应用
  • DWPD：日写入次数，代表耐久性。1DWPD 适合读多写少业务，<2DWPD 适合写密集场景
posted @ 2025-08-07 19:23  Undefined443  阅读(49)  评论(0)    收藏  举报