全国产化方案实现NVMe over 100G RDMA，解除智算超算中“存算”不匹配问题

目录

• 1、NVMe-OF 简介
• 2、NVMe-OF分类比较
• 3、基于FPGA搭建的NVMe over 100G RDMA
• • FPGA
  • 100G RDMA（RoCEv2）
  • NVMe 控制器
  • PCIE Root Point
• 4、FPGA的NVMe over 100G RDMA单卡应用
• 5、NVMe over 100G RDMA机箱产品应用
• • 单台机柜产品核心技术指标
• 6、方案获取

全国产FPGA方案建立NVMe over 100G RDMA，解决超算中心“存算”不匹配问题

1、NVMe-OF 简介

NVMe-OF（NVMe over Fabrics）：
将 NVMe 协议从本地 PCIe 总线扩展到各种网络架构上，实现远程非易失性存储设备（如 NVMe SSD）的高效访问。关于NVMe-OF的详细科普，请参考下面的博客：就是一种基于 NVMe协议的扩展技术，其核心
点击直接前往
NVMe-OF（NVMe over Fabrics）架构如下：

NVMe-OF 核心目标
打破 NVMe 协议仅能在本地 PCIe 总线上使用的限制，让主机可以通过网络远程访问 NVMe 设备，同时保留 NVMe 的低延迟、高吞吐量特性，满足分布式存储、云计算等场景对高性能远程存储的需求。

2、NVMe-OF分类比较

目前主流的NVMe-OF分类如下：

由上可知：NVMe over 100G RDMA（RoCEv2）方案具有碾压级优势。

3、基于FPGA完成的NVMe over 100G RDMA

基于FPGA实现的NVMe over 100G RDMA设计架构如下：

FPGA

FPGA是整个架构的核心，目前本博主已有的方案丰富多彩，既有全国产化FPGA方案，又有Xilinx系列FPGA方案，还有Altera 系列FPGA方案，满足不同行业和场景需求；全国产化FPGA方案用于特殊行业，Xilinx系列FPGA方案用于科研，Altera 系列FPGA方案用于低成本商用平台，具体如下：

100G RDMA（RoCEv2）

100G RDMA（RoCEv2）达成整个架构中的以太网功能；针对不同FPGA，我们有不同的设计方案，具体如下：

100G RDMA（RoCEv2）性能参数如下：
支持RoCE v2
拥护硬件错误重传
支持100 Gb/s线速率
支持可靠连接（RC）RDMA传输服务类型
QP1支持发送和接收MAD数据包
用户硬件握手模式，以支持硬件RDMA应用程序
帮助传入和传出RDMA SEND、RDMA READ、RDMA WRITE、RDMA SEN
使用IMM，RDMA应用IMM写入，RDMA发送无效消息类型。
最大支持扩展到2048个RDMA队列对
协助IPv4和IPv6数据包
帮助拥塞通知（ECN）
帮助RoCE和非RoCE流量的不同优先级和优先级流控
支持内存注册和保护域

100G RDMA（RoCEv2）设计架构如下：

NVMe 控制器

NVMe 控制器达成整个架构中的存储功能；针对不同FPGA，大家有不同的设计方案，具体如下：

PCIE Root Point

PCIE Root Point在整个架构中完成SSD硬盘和FPGA的桥接效果；针对不同FPGA，我们有不同的设计方案，具体如下：

4、FPGA的NVMe over 100G RDMA单卡应用

基于FPGA完成的NVMe over 100G RDMA目前只有单卡产品，即将QSFP28光口和U.2硬盘接口直接做到一张加速卡上，形成单卡产品，以我们的测试验证开发板为例，接口如下：

！！！注意：
上面的开发板仅为我们内部测试采用，成品板卡不是这样的。
FPGA的NVMe over 100G RDMA单卡产品可用于特殊行业，且对信息读延时有极致追求，单卡轻便小巧，插卡式灵活方便，且价格相对较低。

5、NVMe over 100G RDMA机箱产品应用

除了上面的FPGA的NVMe over 100G RDMA单卡外，我们还提供NVMe over 100G RDMA机箱产品，该产品使用ASIC方案实现，NVMe over 100G RDMA机箱产品可解决目前行业痛点，具体如下：
1、AI数据中心
用户需求点：由于“存力”与“算力”存在百倍性能鸿沟，GPU超过一半时间都在“空等”素材，使用NVME over RDMA方案可将GPU利用率从50%提升至85%以上。
2、金融证券环境
用户需求点：追求极致的延迟，10微秒以下为目标，纳秒级别为理想
3、医疗与生命科学
用户需求点：加速大规模文件访问
4、虚拟化与云计算
用户需求点：提升密集型负载性能

NVMe over 100G RDMA机箱产品具有单击吞吐率大、存取延时低、整机功耗低、存盘位数多、全国产化等特点，目前已在金融系统、智算中心、医疗、高性能存储、集群服务器、智慧工厂等领域有成熟部署应用，整机如下：

单台机柜产品核心技术指标

单台机柜产品核心技术指标如下：
单台机柜产品为标准2U机架；
核心硬件国产化率98%；
带宽接近600Gb/s；
IOPS接近1600万；
吞吐率接近70GB/s；
系统时延低于20μs；
最大支撑24个U.2 VNMe存储盘；
储盘读取速度：120 GB/s；
储盘写入速度：80 GB/s；
整机功耗 < 320W；
支持100G RDMA（RoCEv2），6 x 100G QSFP28；
模块化设计，可按需弹性扩展。

6、方案获取

基于FPGA方案实现的单卡加速卡和整机产品，均可获取设计方案；
资料方式：文章末尾的V名片。