推理时代下的存储

推理时代下的存储

prefill和decode

LLM推理可拆分为两个阶段：计算密集型的预填充（Prefill）和内存密集型的解码（Decode）

• Prefill（预填充）与Decode（解码）的物理分离部署：由于预填充（计算密集）和解码（访存密集）对硬件资源的要求完全冲突。顶级框架正在将它们拆分到不同的物理集群。A 集群全用高算力GPU专门负责“读长文”（Prefill），读完后将生成的庞大KV Cache通过高速网络瞬间传输给B集群： B集群全用大显存/大带宽GPU，专门负责“逐字吐出复”(Decode）。

SRAM

特点：超超低延迟，极高带宽，低容量

CBRS

CBRS，是值得关注的标的。唯一使用SRAM替代显存的公司。但问题是SRAM容量太小，当前最大的也才44GB。但是整体速度确实惊人，在部分大模型里面，带来比同行多达几十倍的token输出速度。详情可以看这个链接实测演示。https://www.bilibili.com/video/BV1JztAzhEu6/?spm_id_from=333.1391.0.0&vd_source=f6e75b7ff0181c7a02c5f659b2815495

Groq和英伟达

Groq，被英伟达收购了，也是主打SRAM。被英伟达整合进混合架构了。

prefill 环节交给Vera Rubin ，对延迟敏感的decode环节给Groq ，可将GPU 每瓦Token 处理性能提升35x。

显存：HBM和HBF

均属于显存级别的存储介质。

HBM

特点：极高带宽、超低延迟，中等容量

• 基于硅通孔等先进封装技术，将多个DRAM芯片堆叠在一起，并且和GPU封装在一起，带来极高的速度。

HBF

特点：高带宽、中延迟、大容量

将多个NAND闪存堆叠在一起，同样和GPU封装在一起。通过在HBF中存储KV Cache，可以减轻HBM存储KV Cache的负担。

由于持续膨胀的上下文和大模型，单GPU的显存已无法满足容量需求，所以需要多GPU的服务器节点。（例如，一个英伟达H200节点里面含有8个GPU）不同GPU的显存通过NVLink连接，而NVLink的带宽是远小于和GPU封装在一起的HBF的带宽的。这就是HBF为什么被发明的原因，也就是多GPU之间的内存墙。

内存：DRAM

特点：是更低层次的存储、更大容量。

• H200节点提供2TB的DRAM。当前业界的主流方案是多节点可以共享内存，实现内存池化，主要涉及当前的CXL内存池技术。这么大容量和推理就没什么关系了，一般都是训练的时候需要处理大规模的数据集才会使用到这种DRAM内存池化。
• 而这种内存池化涉及节点之间，一般要依赖于CPO和硅光子技术提高线缆传输速度。