一、概述
2026年8月4日,在FMS 2026(Flash Memory Summit)大会上,SK海力士与闪迪(Sandisk)联合发布了首个HBF(High Bandwidth Flash,高带宽闪存)标准规范,通过OCP(Open Compute Project)向全行业开放。HBF被定义为介于HBM(高带宽内存)与SSD(固态硬盘)之间的全新存储层级,旨在解决AI大模型时代"内存墙"问题。
HBF的核心思想:保留NAND闪存单元不变,套用HBM已验证的TSV(硅通孔)堆叠封装技术,将NAND裸片垂直堆叠并放置在硅中介层上紧邻GPU/加速器,通过UCIe标准接口互联。Gen1即可提供512GB容量和1.6 TB/s读取带宽——容量是HBM4的8~16倍,带宽是SSD的230倍。
二、技术规格
2.1 核心参数
| 参数 | 规格 |
|---|---|
| 堆叠配置 | 8层和16层NAND裸片堆叠 |
| 最大容量 | 512GB(Gen1,16层堆叠) |
| 带宽等级 | Grade 1~3,覆盖约0.4 TB/s至3.0 TB/s |
| 处理器互联 | UCIe(Universal Chiplet Interconnect Express) |
| 单裸片密度 | 256Gb/die |
| Gen1读取带宽 | 1.6 TB/s |
| 访问延迟 | 约10 µs(1~10 µs范围) |
| 最小访问粒度 | 约4 KB(对比HBM的32 B) |
| 挥发特性 | 非易失性(无需刷新功耗) |
| 物理特性 | 与HBM4的封装尺寸、功耗曲线、堆叠高度相匹配 |
规范同时定义了:连接接口与电气特性、HBF裸片堆叠工艺的可靠性与封装指南、读写操作的软件I/O指南、xPU-HBF主机接口、基础性能预期等。
2.2 三代演进路线
| HBM4 | HBF Gen1 | HBF Gen2 | HBF Gen3 | |
|---|---|---|---|---|
| 读取带宽 | ~2 TB/s | 1.6 TB/s | >2 TB/s | >3.2 TB/s |
| 堆叠容量 | 36~48 GB | 512 GB | 1 TB | 1.5 TB |
| 访问延迟 | 10100 ns | ~10 µs | — | — |
| 单元结构 | 1T1C DRAM | 浮栅NAND | 浮栅NAND | 浮栅NAND |
| 相对功耗 | — | 1.0x(基准) | 0.8x | 0.64x |
2.3 配套NAND技术
SK海力士在FMS 2026首次公开展示第十代(V10)375层4D NAND晶圆与产品,较上一代每瓦性能提升2.5倍,计划2027年初量产基于该NAND的高性能大容量eSSD。
三、底层技术:CBA架构
3.1 CBA(CMOS directly Bonded to Array)原理
HBF的技术核心是Sandisk开发的CBA架构:
传统NAND架构:
┌───────────────────────────────────┐
│ 单一大型存储阵列 │
│ ┌──┐┌──┐┌──┐┌──┐┌──┐┌──┐ │
│ │ ││ ││ ││ ││ ││ │ │ ← 顺序访问
│ └──┘└──┘└──┘└──┘└──┘└──┘ │ ← 单一读/写通道
│ 共享数据总线 │ ← 带宽受限
└───────────────────────────────────┘
CBA架构:
┌───────────────────────────────────┐
│ BiCS NAND阵列(数百层) │
│ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ │
│ │子│ │子│ │子│ │子│ ...│子│ │ ← 数千个独立子阵列
│ │阵│ │阵│ │阵│ │阵│ │阵│ │ ← 每个有独立读/写通道
│ │列│ │列│ │列│ │列│ │列│ │ ← 并行同时操作
│ └─┬┘ └─┬┘ └─┬┘ └─┬┘ └─┬┘ │
│ │ │ │ │ │ │
│ ──┴────┴────┴────┴───────┴── │ ← CBA键合层
│ CMOS外围电路 │
└───────────────────────────────────┘
→ 数千子阵列并行读取
→ 单裸片带宽质的飞跃
传统NAND顺序访问单一大型存储阵列;CBA将其划分为数千个独立存储子阵列。每个子阵列拥有独立的读/写通道,可并行同时操作,从而提取出单一NAND裸片无法企及的带宽水平。
结合Sandisk的BiCS NAND(3D垂直堆叠NAND)技术,数百层高的BiCS NAND裸片通过TSV连接,CBA驱动这些裸片间的子阵列同时工作。
3.2 物理封装架构
[GPU / xPU 芯粒]
│
═══ UCIe ═══
│
┌───────────────────────┐
│ 硅中介层(Interposer) │
│ ┌───────┐ ┌──────┐ │
│ │ HBM │ │ HBF │ │
│ │ 堆叠 │ │ 堆叠 │ │
│ └───────┘ └──────┘ │
│ TSV TSV │
└───────────────────────┘
│
┌─────┴─────┐
│ PCB基板 │
└───────────┘
- NAND裸片通过TSV垂直堆叠(8层/16层)
- 堆叠体放置在硅中介层上,紧邻GPU(毫米级距离)
- 通过UCIe标准接口与GPU/CPU等不同处理器互联
- HBF与HBM4的封装尺寸、功耗曲线、堆叠高度相匹配
3.3 HBF裸片堆叠工艺
规范包含裸片堆叠的可靠性与封装指南。Sandisk采用专利技术减少裸片翘曲/应力、提升导热性,使16层堆叠成为可能。HBF在数据中心高温环境下保持热稳定性,并具备先进的可靠性与冗余管理技术(应对寿命与高温运行)。
四、存储层级定位
4.1 完整存储层级对比
| SRAM | DRAM(DDR5) | HBM4 | HBF Gen1 | NAND(SSD) | |
|---|---|---|---|---|---|
| 单元结构 | 6T | 1T1C | 1T1C(TSV) | 浮栅NAND(TSV) | 浮栅 |
| 访问延迟 | ~1 ns | 10100 ns | 10100 ns | ~10 µs | 50100 µs |
| 带宽(每堆叠) | ~TB/s(片上) | ~50 GB/s | ~2 TB/s | 1.6 TB/s | ~7 GB/s |
| 容量 | MB级 | GB级 | 36~48 GB | 512 GB | TB级 |
| 每比特成本 | 极高 | 中 | 高 | 低 | 极低 |
| 挥发特性 | 易失 | 易失 | 易失 | 非易失 | 非易失 |
| 到处理器距离 | 片上 | ~数十cm(PCB) | ~mm(中介层) | ~mm(中介层) | ~数十cm |
4.2 核心价值主张
在HBM与SSD之间存在一个空白——没有一种存储能同时提供"TB级容量 + TB/s级带宽"。HBF正是填补这一空白:
带宽 (TB/s)
│
3 ┤ ┌─────┐
│ ┌─────┤HBF │
2 ┤ ┌─────┤HBM4 │Gen3 │
│ ┌─────┤HBM4 │ └─────┘
1 ┤ ┌─────┤HBM3E│ │
│ ┌─────┤ │ │ │
0.5┤ │ │ │ │ ┌─────┐
│┌────┐│ │ │ │ │HBF │
││SRAM├┘ │ │ │ │Gen1 │
0 ┤└────┘ └─────┘ └─────┴─────┴─────┘
└──┬───────┬────────┬────────┬────────┬──────→ 容量
MB GB 48GB 512GB TB
HBF填补了HBM与SSD之间的"容量-带宽空白"
4.3 与各技术对比
vs HBM:HBF提供与HBM相近的读取带宽(Gen1的1.6 TB/s接近HBM4的~2 TB/s),但容量是HBM的8~16倍(512 GB vs 36~48 GB),且每比特成本更低。代价是延迟高约100倍(10 µs vs ~100 ns)。HBF非易失,无需刷新功耗。
vs NAND/SSD:HBF带宽约为SSD的230倍(1.6 TB/s vs ~7 GB/s),延迟降低约5~10倍(10 µs vs 50~100 µs)。突破点在于通过TSV堆叠 + CBA并行子阵列 + 中介层近处理器放置,将SSD的带宽瓶颈彻底打破。
vs DDR5:HBF带宽约为DDR5的32倍(1.6 TB/s vs ~50 GB/s),且为非易失。但延迟更高。
vs CXL.mem:CXL内存通过PCIe链路扩展,典型延迟160250 ns,带宽约64 GB/s(每x16 CXL 3.0链路),容量128GB~2TB。HBF是封装内(on-package,中介层,毫米级距离)的近计算存储,带宽远高于CXL,但延迟更高(10 µs),且为非易失。两者定位不同:CXL适合内存池化/扩展,HBF适合高带宽近计算大容量。
五、AI工作负载驱动因素
5.1 "内存墙"问题
AI模型从2014年的Compute-Limited Era进入2021年后的Memory Capacity/Bandwidth Limited Era。模型参数从千万级增长到万亿级,而HBM容量增长滞后。最新LLM参数量已达数百GB到数TB,远超单GPU的HBM容量。
5.2 Memory-Centric AI新范式
Sandisk提出,前沿LLM呈现两大趋势,恰好契合HBF:
| 模型 | 总参数 | MoE专家数 | 激活参数 | 上下文长度 |
|---|---|---|---|---|
| Llama4 Behemoth | 2万亿 | 16 | 2880亿 | 256K |
| Llama4 Maverick | 4000亿 | 128 | 170亿 | 1M |
| Llama4 Scout | 1090亿 | 16 | 170亿 | 10M |
| Kimi K2 | 1万亿 | 384 | 320亿 | 128K |
| Grok 4 | 1.7万亿 | — | — | 256K |
- 内存容量需求上升(模型规模 + 上下文长度增长)
- 计算需求下降(MoE架构使激活参数大幅减少)
这种"更多内存 + 更少计算"的组合 = Memory-Centric AI,是HBF的最佳场景。
5.3 具体工作负载痛点
- 推理decode阶段:memory-bound,每个token都需读取模型权重(仅复用一次),带宽是延迟瓶颈;增大batch可摊销但受限于HBM容量(KV cache占用)
- 长上下文:KV cache随上下文增长,过去两年平均增长4倍,存储开销同比增加
- Agentic AI:自主设定目标、规划、执行任务,数据处理量激增,单一存储类型无法应对复杂需求
六、学术架构方案
6.1 KAIST H³架构(HBM + HBF分层)
韩国科学院(KAIST)金钟浩教授(被誉为"HBM之父")团队提出的架构:
┌─────────────────────────────────────────┐
│ KAIST H³ 架构 │
│ │
│ ┌─────────────────────────────────┐ │
│ │ 100 GB HBM(缓存层) │ │
│ │ 吸收HBF的延迟劣势 │ │
│ └───────────────┬─────────────────┘ │
│ │ │
│ 毫秒级延迟访问 │
│ │ │
│ ┌───────────────▼─────────────────┐ │
│ │ 1 TB HBF(后端大容量层) │ │
│ │ 提供TB级容量 │ │
│ └─────────────────────────────────┘ │
│ │
│ HBM缓存吸收HBF的延迟劣势 │
│ 整体获得HBF的容量优势而无性能损失 │
└─────────────────────────────────────────┘
6.2 TileLens架构(Georgia Tech)
针对HBF集成到GPU的微架构设计:
┌─────────────────────────────────────────────┐
│ TileLens 架构 │
│ │
│ 数据放置策略: │
│ ┌─────────────┐ ┌──────────────┐ │
│ │ HBM │ │ HBF │ │
│ │ • KV cache │ │ • 权重矩阵 │ │
│ │ • 激活值 │ │ │ │
│ └─────────────┘ └──────────────┘ │
│ (规避HBF写入寿命限制: 只将权重放入HBF) │
│ │
│ 混合粒度L2缓存: │
│ ┌─────────────┐ ┌──────────────┐ │
│ │ HBM: 32B粒度 │ │ HBF: 4KB粒度 │ │
│ └─────────────┘ └──────────────┘ │
│ (适配不同访问粒度) │
│ │
│ 4KB粒度MSHR: 跟踪更多并发HBF请求 │
│ │
│ 自适应步长预取器: 填充带宽以隐藏HBF微秒级延迟 │
│ │
│ tile-major布局: 解决读放大问题 │
│ (HBF 4KB粒度 vs 计算tile 64~512B宽度的失配) │
└─────────────────────────────────────────────┘
性能结果:采用tile-major布局 + 自适应硬件预取器,在HBF延迟5 µs条件下,矩阵乘法性能达到与HBM-only基线相差1%以内(从传统布局的1.61~6.49倍减速改善至接近无损)。评测基于Qwen-3 30B和Llama-3.1 70B的矩阵乘法内核。
6.3 FlashAccel架构(中科院计算所)
┌─────────────────────────────────────────────┐
│ FlashAccel 架构 │
│ │
│ ┌─────────────────────────────────────┐ │
│ │ GPU 核心 │ │
│ └───────────────┬─────────────────────┘ │
│ │ │
│ ┌───────────────▼─────────────────────┐ │
│ │ HBM 缓冲层 │ │
│ └───────────────┬─────────────────────┘ │
│ │ │
│ ┌───┬───┬───┬───┬───┬───┐ │
│ │HBF│HBF│HBF│HBF│HBF│HBF│ ← 6个HBF堆叠 │
│ │ 1 │ 2 │ 3 │ 4 │ 5 │ 6 │ │
│ └─┬─┴─┬─┴─┬─┴─┬─┴─┬─┴─┬─┘ │
│ │ │ │ │ │ │ │
│ ┌─▼───▼───▼───▼───▼───▼──┐ │
│ │ 分布式SRAM缓冲器 │ ← 数据预取 │
│ │ 分布在HBF裸片间 │ 缓解访问延迟 │
│ └────────────────────────┘ │
│ │
│ 专用数据布局(权重 + KV cache)实现高并行度 │
│ HBF感知的存储管理层 + 编程模型管理异构资源 │
└─────────────────────────────────────────────┘
性能结果:集成6个HBF堆叠到GPU,在100ms延迟约束下:
- 吞吐量/GPU平均提升 2.54倍
- 能效提升 1.93倍
(对比HBM-only GPU)
七、性能仿真对比
7.1 HBF vs HBM(Sandisk仿真)
Sandisk基于Llama 3.1 405B模型的仿真(给予HBM"无限容量"的不公平优势以隔离性能差异):
推理阶段权重读取带宽对比:
HBM(无限容量) HBF
─────────────────────────────────────────────────────
Attention QKV Projection ████████████ ████████████
FFN Up-Projection ████████████ ████████████
Final Linear ████████████ ████████████
─────────────────────────────────────────────────────
整体性能差距: < 2.2%
HBF整体性能与无限容量HBM的差距仅在2.2%以内。在各推理阶段的权重读取带宽上,HBF与HBM高度吻合。
7.2 HBF vs HBM各代对比
| 指标 | HBM3E | HBM4 | HBF Gen1 | HBF Gen3 |
|---|---|---|---|---|
| 总线宽度 | 1024-bit | 2048-bit | — | — |
| 带宽/堆叠 | ~1.2 TB/s | ~2 TB/s+ | 1.6 TB/s | >3.2 TB/s |
| 容量/堆叠 | 24~36 GB | 36~48 GB | 512 GB | 1.5 TB |
| 延迟 | ~100 ns | ~100 ns | ~10 µs | — |
| 8堆叠总容量 | 192288 GB | 384 GB | — | — |
NVIDIA Vera Rubin目标8个HBM4堆叠 = 384 GB / ~22 TB/s。
7.3 延迟差距的工程应对
HBF的核心弱点是延迟(~10 µs,比HBM慢约100倍)。三种学术方案分别提出应对策略:
| 方案 | 延迟缓解策略 | 效果 |
|---|---|---|
| KAIST H³ | HBM做缓存层前置 | 整体获得HBF容量优势无性能损失 |
| TileLens | tile-major布局 + 自适应预取器 | 矩阵乘法性能与HBM-only相差<1% |
| FlashAccel | 分布式SRAM缓冲 + 预取 | 吞吐量提升2.54倍,能效提升1.93倍 |
八、AI基础设施应用场景
8.1 LLM推理(核心场景)
模型权重存储:将数百GB~TB级模型权重放入HBF,HBF提供TB/s级带宽直接喂给GPU。TileLens和FlashAccel均将权重分配到HBF。
KV cache存储:FlashAccel论证了HBF存储KV cache的可行性:
写入寿命分析(基于DeepSeek数据):
prefill集群: 每GPU每日写 22.7TB
decode集群: 每GPU每日写 26.9TB
SLC Flash 5年寿命下每日可承受约 55 P/E 循环
1TB HBF每日可写入约 55TB → 满足推理负载
放松保留保证可进一步延长寿命达 50 倍
decode吞吐:增大batch size摊销权重读取,受限于HBM容量;HBF扩容后可支持更大batch → 提升吞吐与GPU利用率。
8.2 LLM训练与Checkpointing
HBF非易失特性天然适合检查点存储。训练中断/恢复时无需从远端SSD加载,可近计算快速恢复。数据中心场景下,HBF作为HBM的补充,为GPU附加TB级内存。
8.3 Token经济学
HBF旨在改善大规模推理的token economics(每token成本),通过高容量 + 高带宽 + 低每比特成本提升系统效率。
九、产业生态
9.1 开放标准与联盟
- 通过OCP发布:定位为全行业开放标准,而非企业专有技术
- HBF联盟成员:Sandisk、SK海力士(主导),Google与Tenstorrent已加入并参与技术验证与标准制定
- 技术顾问委员会:David Patterson(UC Berkeley计算机科学Pardee荣休教授、Google杰出工程师)、Raja Koduri(Oxmiq Labs创始人兼CEO,图形架构领域知名领袖)
- 学术合作:KAIST金钟浩教授团队("HBM之父")采用HBF作为创新平台
9.2 时间线与量产路线
| 时间 | 里程碑 |
|---|---|
| 2025年8月 | Sandisk与SK海力士启动HBF标准化合作 |
| 2025年8月 | FMS首次发布HBF概念,获Best of Show最具创新技术奖 |
| 2026年2月 | HBF联盟成立 |
| 2026年8月4日 | FMS 2026发布首个OCP标准规范 |
| 2026年下半年 | Sandisk计划交付首批HBF内存样品 |
| 2027年初 | 首批HBF驱动的推理设备样品;SK海力士375层4D NAND eSSD量产 |
9.3 挑战与待解问题
- 延迟:~10 µs比HBM慢约100倍,需软硬件协同(缓存层/预取/tile-major布局)缓解
- 写入寿命:NAND的P/E循环限制,需通过SLC模式、放松保留、磨损均衡管理
- 读放大:4KB最小粒度vs计算tile的失配,需tile-major布局等架构创新
- 生态适配:系统级软件栈、异构内存管理需配套
- 高密度堆叠良率:16层NAND堆叠的制造良率挑战
十、Tiered Memory架构愿景
SK海力士在FMS 2026主题演讲中提出基于"Tiered Memory"的下一代AI基础设施架构——连接并优化多种存储类型为统一系统,因为单一存储类型无法解决复杂挑战。
完整层级:
SRAM(片上缓存)
→ HBM(高带宽内存)
→ HBF(高带宽闪存) ← 新增层级
→ SSD(大容量存储)
每一层都有独特的容量-带宽-延迟-成本权衡
HBF填补了HBM与SSD之间的关键空白
使GPU能挂载TB级近计算内存
改善模型服务的交互性与吞吐
降低TCO
十一、技术启示
-
HBF填补的不是性能空白,而是架构空白:在HBM与SSD之间长期存在一个"TB级容量 + TB/s级带宽"的空白区域。HBF不是更快的SSD或更便宜的HBM,而是一个全新的存储层级。
-
CBA架构是带宽突破的关键:传统NAND的带宽瓶颈不在存储单元本身,而在外围电路的串行访问模式。CBA将单一阵列划分为数千并行子阵列,从根本上改变了NAND的带宽特性。这一思路对存储架构设计有深远启示。
-
MoE架构是HBF的催化剂:Llama4、Kimi K2等MoE模型大幅减少了激活参数,使推理从compute-bound转向memory-bound。HBF恰好提供"大容量 + 高带宽"的组合,完美契合这一趋势。
-
延迟可以通过架构创新弥补:HBF的~10 µs延迟比HBM慢100倍,但KAIST的HBM缓存层、Georgia Tech的tile-major布局、中科院的FlashAccel三种方案都将性能差距控制在可接受范围内。延迟不是HBF的致命弱点,而是需要架构创新来管理的工程挑战。
-
开放标准是生态成功的前提:HBF通过OCP发布而非企业专有,Google和Tenstorrent的加入增强了生态可信度。这与HBM的封闭授权模式形成对比,可能加速行业采用。
-
AI存储赛道迎来结构性变革:HBF标志着存储不再只是"持久化"的角色,而是成为计算近端的"大容量高带宽工作内存"。这将改变AI芯片设计、数据中心架构和存储产业格局。
免责声明
本文仅用于技术研究和教育目的。所有技术规格和数据均来自公开的官方发布(SK海力士新闻稿、Sandisk博客与技术简报、OCP投资者公告)及学术论文(中科院计算所FlashAccel、Georgia Tech TileLens、Hyper-Accel技术分析)。性能对比数据均来自各自的仿真/实验环境,标注了前提条件。本文不构成任何投资建议或产品推荐。作者不对任何因使用本文信息而造成的直接或间接损失负责。
浙公网安备 33010602011771号