一、概述

2026年8月4日,在FMS 2026(Flash Memory Summit)大会上,SK海力士与闪迪(Sandisk)联合发布了首个HBF(High Bandwidth Flash,高带宽闪存)标准规范,通过OCP(Open Compute Project)向全行业开放。HBF被定义为介于HBM(高带宽内存)与SSD(固态硬盘)之间的全新存储层级,旨在解决AI大模型时代"内存墙"问题。

HBF的核心思想:保留NAND闪存单元不变,套用HBM已验证的TSV(硅通孔)堆叠封装技术,将NAND裸片垂直堆叠并放置在硅中介层上紧邻GPU/加速器,通过UCIe标准接口互联。Gen1即可提供512GB容量和1.6 TB/s读取带宽——容量是HBM4的8~16倍,带宽是SSD的230倍。

二、技术规格

2.1 核心参数

参数 规格
堆叠配置 8层和16层NAND裸片堆叠
最大容量 512GB(Gen1,16层堆叠)
带宽等级 Grade 1~3,覆盖约0.4 TB/s至3.0 TB/s
处理器互联 UCIe(Universal Chiplet Interconnect Express)
单裸片密度 256Gb/die
Gen1读取带宽 1.6 TB/s
访问延迟 约10 µs(1~10 µs范围)
最小访问粒度 约4 KB(对比HBM的32 B)
挥发特性 非易失性(无需刷新功耗)
物理特性 与HBM4的封装尺寸、功耗曲线、堆叠高度相匹配

规范同时定义了:连接接口与电气特性、HBF裸片堆叠工艺的可靠性与封装指南、读写操作的软件I/O指南、xPU-HBF主机接口、基础性能预期等。

2.2 三代演进路线

HBM4 HBF Gen1 HBF Gen2 HBF Gen3
读取带宽 ~2 TB/s 1.6 TB/s >2 TB/s >3.2 TB/s
堆叠容量 36~48 GB 512 GB 1 TB 1.5 TB
访问延迟 10100 ns ~10 µs — —
单元结构 1T1C DRAM 浮栅NAND 浮栅NAND 浮栅NAND
相对功耗 — 1.0x(基准) 0.8x 0.64x

2.3 配套NAND技术

SK海力士在FMS 2026首次公开展示第十代(V10)375层4D NAND晶圆与产品,较上一代每瓦性能提升2.5倍,计划2027年初量产基于该NAND的高性能大容量eSSD。

三、底层技术:CBA架构

3.1 CBA(CMOS directly Bonded to Array)原理

HBF的技术核心是Sandisk开发的CBA架构:

传统NAND架构:
┌───────────────────────────────────┐
│        单一大型存储阵列              │
│  ┌──┐┌──┐┌──┐┌──┐┌──┐┌──┐       │
│  │  ││  ││  ││  ││  ││  │       │  ← 顺序访问
│  └──┘└──┘└──┘└──┘└──┘└──┘       │  ← 单一读/写通道
│       共享数据总线                  │  ← 带宽受限
└───────────────────────────────────┘

CBA架构:
┌───────────────────────────────────┐
│     BiCS NAND阵列(数百层)          │
│  ┌──┐ ┌──┐ ┌──┐ ┌──┐    ┌──┐    │
│  │子│ │子│ │子│ │子│ ...│子│    │  ← 数千个独立子阵列
│  │阵│ │阵│ │阵│ │阵│    │阵│    │  ← 每个有独立读/写通道
│  │列│ │列│ │列│ │列│    │列│    │  ← 并行同时操作
│  └─┬┘ └─┬┘ └─┬┘ └─┬┘    └─┬┘    │
│    │    │    │    │       │      │
│  ──┴────┴────┴────┴───────┴──    │  ← CBA键合层
│         CMOS外围电路               │
└───────────────────────────────────┘
  → 数千子阵列并行读取
  → 单裸片带宽质的飞跃

传统NAND顺序访问单一大型存储阵列;CBA将其划分为数千个独立存储子阵列。每个子阵列拥有独立的读/写通道,可并行同时操作,从而提取出单一NAND裸片无法企及的带宽水平。

结合Sandisk的BiCS NAND(3D垂直堆叠NAND)技术,数百层高的BiCS NAND裸片通过TSV连接,CBA驱动这些裸片间的子阵列同时工作。

3.2 物理封装架构

                    [GPU / xPU 芯粒]
                          │
                    ═══ UCIe ═══
                          │
              ┌───────────────────────┐
              │    硅中介层(Interposer)  │
              │  ┌───────┐  ┌──────┐  │
              │  │ HBM   │  │ HBF  │  │
              │  │ 堆叠  │  │ 堆叠 │  │
              │  └───────┘  └──────┘  │
              │    TSV        TSV     │
              └───────────────────────┘
                          │
                    ┌─────┴─────┐
                    │  PCB基板   │
                    └───────────┘

  - NAND裸片通过TSV垂直堆叠(8层/16层)
  - 堆叠体放置在硅中介层上,紧邻GPU(毫米级距离)
  - 通过UCIe标准接口与GPU/CPU等不同处理器互联
  - HBF与HBM4的封装尺寸、功耗曲线、堆叠高度相匹配

3.3 HBF裸片堆叠工艺

规范包含裸片堆叠的可靠性与封装指南。Sandisk采用专利技术减少裸片翘曲/应力、提升导热性,使16层堆叠成为可能。HBF在数据中心高温环境下保持热稳定性,并具备先进的可靠性与冗余管理技术(应对寿命与高温运行)。

四、存储层级定位

4.1 完整存储层级对比

SRAM DRAM(DDR5) HBM4 HBF Gen1 NAND(SSD)
单元结构 6T 1T1C 1T1C(TSV) 浮栅NAND(TSV) 浮栅
访问延迟 ~1 ns 10100 ns 10100 ns ~10 µs 50100 µs
带宽(每堆叠) ~TB/s(片上) ~50 GB/s ~2 TB/s 1.6 TB/s ~7 GB/s
容量 MB级 GB级 36~48 GB 512 GB TB级
每比特成本 极高 中 高 低 极低
挥发特性 易失 易失 易失 非易失 非易失
到处理器距离 片上 ~数十cm(PCB) ~mm(中介层) ~mm(中介层) ~数十cm

4.2 核心价值主张

在HBM与SSD之间存在一个空白——没有一种存储能同时提供"TB级容量 + TB/s级带宽"。HBF正是填补这一空白:

带宽 (TB/s)
  │
  3 ┤                                    ┌─────┐
    │                              ┌─────┤HBF  │
  2 ┤                        ┌─────┤HBM4 │Gen3 │
    │                  ┌─────┤HBM4 │     └─────┘
  1 ┤            ┌─────┤HBM3E│     │
    │      ┌─────┤     │     │     │
  0.5┤     │     │     │     │     ┌─────┐
    │┌────┐│     │     │     │     │HBF  │
    ││SRAM├┘     │     │     │     │Gen1 │
  0 ┤└────┘      └─────┘     └─────┴─────┴─────┘
    └──┬───────┬────────┬────────┬────────┬──────→ 容量
      MB      GB       48GB    512GB      TB

  HBF填补了HBM与SSD之间的"容量-带宽空白"

4.3 与各技术对比

vs HBM:HBF提供与HBM相近的读取带宽(Gen1的1.6 TB/s接近HBM4的~2 TB/s),但容量是HBM的8~16倍(512 GB vs 36~48 GB),且每比特成本更低。代价是延迟高约100倍(10 µs vs ~100 ns)。HBF非易失,无需刷新功耗。

vs NAND/SSD:HBF带宽约为SSD的230倍(1.6 TB/s vs ~7 GB/s),延迟降低约5~10倍(10 µs vs 50~100 µs)。突破点在于通过TSV堆叠 + CBA并行子阵列 + 中介层近处理器放置,将SSD的带宽瓶颈彻底打破。

vs DDR5:HBF带宽约为DDR5的32倍(1.6 TB/s vs ~50 GB/s),且为非易失。但延迟更高。

vs CXL.mem:CXL内存通过PCIe链路扩展,典型延迟160250 ns,带宽约64 GB/s(每x16 CXL 3.0链路),容量128GB~2TB。HBF是封装内(on-package,中介层,毫米级距离)的近计算存储,带宽远高于CXL,但延迟更高(10 µs),且为非易失。两者定位不同:CXL适合内存池化/扩展,HBF适合高带宽近计算大容量。

五、AI工作负载驱动因素

5.1 "内存墙"问题

AI模型从2014年的Compute-Limited Era进入2021年后的Memory Capacity/Bandwidth Limited Era。模型参数从千万级增长到万亿级,而HBM容量增长滞后。最新LLM参数量已达数百GB到数TB,远超单GPU的HBM容量。

5.2 Memory-Centric AI新范式

Sandisk提出,前沿LLM呈现两大趋势,恰好契合HBF:

模型 总参数 MoE专家数 激活参数 上下文长度
Llama4 Behemoth 2万亿 16 2880亿 256K
Llama4 Maverick 4000亿 128 170亿 1M
Llama4 Scout 1090亿 16 170亿 10M
Kimi K2 1万亿 384 320亿 128K
Grok 4 1.7万亿 — — 256K
  • 内存容量需求上升(模型规模 + 上下文长度增长)
  • 计算需求下降(MoE架构使激活参数大幅减少)

这种"更多内存 + 更少计算"的组合 = Memory-Centric AI,是HBF的最佳场景。

5.3 具体工作负载痛点

  1. 推理decode阶段:memory-bound,每个token都需读取模型权重(仅复用一次),带宽是延迟瓶颈;增大batch可摊销但受限于HBM容量(KV cache占用)
  2. 长上下文:KV cache随上下文增长,过去两年平均增长4倍,存储开销同比增加
  3. Agentic AI:自主设定目标、规划、执行任务,数据处理量激增,单一存储类型无法应对复杂需求

六、学术架构方案

6.1 KAIST H³架构(HBM + HBF分层)

韩国科学院(KAIST)金钟浩教授(被誉为"HBM之父")团队提出的架构:

┌─────────────────────────────────────────┐
│           KAIST H³ 架构                   │
│                                           │
│  ┌─────────────────────────────────┐     │
│  │     100 GB HBM(缓存层)         │     │
│  │     吸收HBF的延迟劣势             │     │
│  └───────────────┬─────────────────┘     │
│                  │                        │
│         毫秒级延迟访问                    │
│                  │                        │
│  ┌───────────────▼─────────────────┐     │
│  │     1 TB HBF(后端大容量层)      │     │
│  │     提供TB级容量                  │     │
│  └─────────────────────────────────┘     │
│                                           │
│  HBM缓存吸收HBF的延迟劣势                  │
│  整体获得HBF的容量优势而无性能损失          │
└─────────────────────────────────────────┘

6.2 TileLens架构(Georgia Tech)

针对HBF集成到GPU的微架构设计:

┌─────────────────────────────────────────────┐
│              TileLens 架构                    │
│                                               │
│  数据放置策略:                                 │
│  ┌─────────────┐  ┌──────────────┐           │
│  │ HBM          │  │ HBF           │         │
│  │ • KV cache   │  │ • 权重矩阵    │          │
│  │ • 激活值     │  │               │          │
│  └─────────────┘  └──────────────┘           │
│  (规避HBF写入寿命限制: 只将权重放入HBF)         │
│                                               │
│  混合粒度L2缓存:                               │
│  ┌─────────────┐  ┌──────────────┐           │
│  │ HBM: 32B粒度 │  │ HBF: 4KB粒度 │          │
│  └─────────────┘  └──────────────┘           │
│  (适配不同访问粒度)                             │
│                                               │
│  4KB粒度MSHR: 跟踪更多并发HBF请求              │
│                                               │
│  自适应步长预取器: 填充带宽以隐藏HBF微秒级延迟   │
│                                               │
│  tile-major布局: 解决读放大问题                │
│  (HBF 4KB粒度 vs 计算tile 64~512B宽度的失配)   │
└─────────────────────────────────────────────┘

性能结果:采用tile-major布局 + 自适应硬件预取器,在HBF延迟5 µs条件下,矩阵乘法性能达到与HBM-only基线相差1%以内(从传统布局的1.61~6.49倍减速改善至接近无损)。评测基于Qwen-3 30B和Llama-3.1 70B的矩阵乘法内核。

6.3 FlashAccel架构(中科院计算所)

┌─────────────────────────────────────────────┐
│              FlashAccel 架构                   │
│                                               │
│  ┌─────────────────────────────────────┐     │
│  │           GPU 核心                    │     │
│  └───────────────┬─────────────────────┘     │
│                  │                             │
│  ┌───────────────▼─────────────────────┐     │
│  │           HBM 缓冲层                  │     │
│  └───────────────┬─────────────────────┘     │
│                  │                             │
│  ┌───┬───┬───┬───┬───┬───┐                  │
│  │HBF│HBF│HBF│HBF│HBF│HBF│  ← 6个HBF堆叠   │
│  │ 1 │ 2 │ 3 │ 4 │ 5 │ 6 │                  │
│  └─┬─┴─┬─┴─┬─┴─┬─┴─┬─┴─┬─┘                  │
│    │   │   │   │   │   │                     │
│  ┌─▼───▼───▼───▼───▼───▼──┐                  │
│  │  分布式SRAM缓冲器        │  ← 数据预取      │
│  │  分布在HBF裸片间         │    缓解访问延迟   │
│  └────────────────────────┘                  │
│                                               │
│  专用数据布局(权重 + KV cache)实现高并行度     │
│  HBF感知的存储管理层 + 编程模型管理异构资源      │
└─────────────────────────────────────────────┘

性能结果:集成6个HBF堆叠到GPU,在100ms延迟约束下:

  • 吞吐量/GPU平均提升 2.54倍
  • 能效提升 1.93倍
    (对比HBM-only GPU)

七、性能仿真对比

7.1 HBF vs HBM(Sandisk仿真)

Sandisk基于Llama 3.1 405B模型的仿真(给予HBM"无限容量"的不公平优势以隔离性能差异):

推理阶段权重读取带宽对比:
                                      HBM(无限容量)  HBF
  ─────────────────────────────────────────────────────
  Attention QKV Projection              ████████████  ████████████
  FFN Up-Projection                      ████████████  ████████████
  Final Linear                           ████████████  ████████████
  ─────────────────────────────────────────────────────
  整体性能差距: < 2.2%

HBF整体性能与无限容量HBM的差距仅在2.2%以内。在各推理阶段的权重读取带宽上,HBF与HBM高度吻合。

7.2 HBF vs HBM各代对比

指标 HBM3E HBM4 HBF Gen1 HBF Gen3
总线宽度 1024-bit 2048-bit — —
带宽/堆叠 ~1.2 TB/s ~2 TB/s+ 1.6 TB/s >3.2 TB/s
容量/堆叠 24~36 GB 36~48 GB 512 GB 1.5 TB
延迟 ~100 ns ~100 ns ~10 µs —
8堆叠总容量 192288 GB 384 GB — —

NVIDIA Vera Rubin目标8个HBM4堆叠 = 384 GB / ~22 TB/s。

7.3 延迟差距的工程应对

HBF的核心弱点是延迟(~10 µs,比HBM慢约100倍)。三种学术方案分别提出应对策略:

方案 延迟缓解策略 效果
KAIST H³ HBM做缓存层前置 整体获得HBF容量优势无性能损失
TileLens tile-major布局 + 自适应预取器 矩阵乘法性能与HBM-only相差<1%
FlashAccel 分布式SRAM缓冲 + 预取 吞吐量提升2.54倍,能效提升1.93倍

八、AI基础设施应用场景

8.1 LLM推理(核心场景)

模型权重存储:将数百GB~TB级模型权重放入HBF,HBF提供TB/s级带宽直接喂给GPU。TileLens和FlashAccel均将权重分配到HBF。

KV cache存储:FlashAccel论证了HBF存储KV cache的可行性:

写入寿命分析(基于DeepSeek数据):
  prefill集群: 每GPU每日写 22.7TB
  decode集群:  每GPU每日写 26.9TB
  
  SLC Flash 5年寿命下每日可承受约 55 P/E 循环
  1TB HBF每日可写入约 55TB → 满足推理负载
  
  放松保留保证可进一步延长寿命达 50 倍

decode吞吐:增大batch size摊销权重读取,受限于HBM容量;HBF扩容后可支持更大batch → 提升吞吐与GPU利用率。

8.2 LLM训练与Checkpointing

HBF非易失特性天然适合检查点存储。训练中断/恢复时无需从远端SSD加载,可近计算快速恢复。数据中心场景下,HBF作为HBM的补充,为GPU附加TB级内存。

8.3 Token经济学

HBF旨在改善大规模推理的token economics(每token成本),通过高容量 + 高带宽 + 低每比特成本提升系统效率。

九、产业生态

9.1 开放标准与联盟

  • 通过OCP发布:定位为全行业开放标准,而非企业专有技术
  • HBF联盟成员:Sandisk、SK海力士(主导),Google与Tenstorrent已加入并参与技术验证与标准制定
  • 技术顾问委员会:David Patterson(UC Berkeley计算机科学Pardee荣休教授、Google杰出工程师)、Raja Koduri(Oxmiq Labs创始人兼CEO,图形架构领域知名领袖)
  • 学术合作:KAIST金钟浩教授团队("HBM之父")采用HBF作为创新平台

9.2 时间线与量产路线

时间 里程碑
2025年8月 Sandisk与SK海力士启动HBF标准化合作
2025年8月 FMS首次发布HBF概念,获Best of Show最具创新技术奖
2026年2月 HBF联盟成立
2026年8月4日 FMS 2026发布首个OCP标准规范
2026年下半年 Sandisk计划交付首批HBF内存样品
2027年初 首批HBF驱动的推理设备样品;SK海力士375层4D NAND eSSD量产

9.3 挑战与待解问题

  1. 延迟:~10 µs比HBM慢约100倍,需软硬件协同(缓存层/预取/tile-major布局)缓解
  2. 写入寿命:NAND的P/E循环限制,需通过SLC模式、放松保留、磨损均衡管理
  3. 读放大:4KB最小粒度vs计算tile的失配,需tile-major布局等架构创新
  4. 生态适配:系统级软件栈、异构内存管理需配套
  5. 高密度堆叠良率:16层NAND堆叠的制造良率挑战

十、Tiered Memory架构愿景

SK海力士在FMS 2026主题演讲中提出基于"Tiered Memory"的下一代AI基础设施架构——连接并优化多种存储类型为统一系统,因为单一存储类型无法解决复杂挑战。

完整层级:
  SRAM(片上缓存)
    → HBM(高带宽内存)  
      → HBF(高带宽闪存)    ← 新增层级
        → SSD(大容量存储)

  每一层都有独特的容量-带宽-延迟-成本权衡
  HBF填补了HBM与SSD之间的关键空白
  使GPU能挂载TB级近计算内存
  改善模型服务的交互性与吞吐
  降低TCO

十一、技术启示

  1. HBF填补的不是性能空白,而是架构空白:在HBM与SSD之间长期存在一个"TB级容量 + TB/s级带宽"的空白区域。HBF不是更快的SSD或更便宜的HBM,而是一个全新的存储层级。

  2. CBA架构是带宽突破的关键:传统NAND的带宽瓶颈不在存储单元本身,而在外围电路的串行访问模式。CBA将单一阵列划分为数千并行子阵列,从根本上改变了NAND的带宽特性。这一思路对存储架构设计有深远启示。

  3. MoE架构是HBF的催化剂:Llama4、Kimi K2等MoE模型大幅减少了激活参数,使推理从compute-bound转向memory-bound。HBF恰好提供"大容量 + 高带宽"的组合,完美契合这一趋势。

  4. 延迟可以通过架构创新弥补:HBF的~10 µs延迟比HBM慢100倍,但KAIST的HBM缓存层、Georgia Tech的tile-major布局、中科院的FlashAccel三种方案都将性能差距控制在可接受范围内。延迟不是HBF的致命弱点,而是需要架构创新来管理的工程挑战。

  5. 开放标准是生态成功的前提:HBF通过OCP发布而非企业专有,Google和Tenstorrent的加入增强了生态可信度。这与HBM的封闭授权模式形成对比,可能加速行业采用。

  6. AI存储赛道迎来结构性变革:HBF标志着存储不再只是"持久化"的角色,而是成为计算近端的"大容量高带宽工作内存"。这将改变AI芯片设计、数据中心架构和存储产业格局。


免责声明

本文仅用于技术研究和教育目的。所有技术规格和数据均来自公开的官方发布(SK海力士新闻稿、Sandisk博客与技术简报、OCP投资者公告)及学术论文(中科院计算所FlashAccel、Georgia Tech TileLens、Hyper-Accel技术分析)。性能对比数据均来自各自的仿真/实验环境,标注了前提条件。本文不构成任何投资建议或产品推荐。作者不对任何因使用本文信息而造成的直接或间接损失负责。