AI时代核心存力:HBM

我爱免费

作者：微信文章
HBM 是 AI 时代的必需品

DRAM，作为半导体主流存储产品的动态随机存取存储器， 针对不同的应用领域定义了不同的产品，主要包括 LPDDR、DDR、GDDR 和 HBM 等。


图片来自：Aiden的硬科技行研
它们虽然均使用相同的 DRAM 存储单元（DRAM Die），但其组成架构功能不同，导致对应的性能不同。

手机、汽车、消费类等对低功耗要求高主要使用 LPDDR；服务器和 PC 端等有高传输、高密度要求则使用 DDR，图形处理及高算力领域对高吞吐量、高带宽、低功耗等综合性要求极高则使用 GDDR 和 HBM。

HBM（High Bandwidth Memory）：意为高带宽存储器，是一种面向需要极高吞吐量的数据密集型应用程序的 DRAM，常被用于高性能计算（HPC）、AI、网络交换及转发设备等需要高存储器带宽的领域。（HBM的作用类似于数据“中转站”，将使用的数据保留到缓存区中，等待GPU调用。）

---

HBM 优势在哪？



传统打线与 TSV 穿孔区别


HBM 凭借TSV 技术，将数个 DRAM 芯片在缓冲芯片上进行立体堆叠，其内部堆叠的 DDR 层数可达 4 层、8 层以至 12 层，从而形成大容量、高位宽的 DDR组合阵列。通过贯通所有芯片层的柱状通道传输信号、指令、电流。相较传统封装方式，该技术能够缩减 30%体积，并降低 50%能耗。凭借 TSV 方式，HBM 大幅提高了容量和位宽（I/O 数量）。与传统内存GDDR技术相比，HBM具有更高带宽、更多 I/O 数量、更低功耗、更小尺寸等特征。具体体现在：
（1）存储带宽问题：由于存储的制成与封装工艺与 CPU 的制成封装工艺不同，CPU 使用的是 SRAM 寄存器，速度快，双稳态电路，而存储器使用的是 DRAM 寄存器，速度慢，单稳态电路。这样的工艺不同拉大了两者间的差距，在过去 20 年内，CPU 的峰值计算能力增加了 90000 倍，内存/硬件互存宽带却只是提高了 30 倍。存储的带宽通过总线一直限制着计算单位的带宽，最新型的 GDDR6 单颗带宽上限在 96GB/s，而最新型的单栈HBM3E 带宽上限近 1.2TB/s，在 AI 应用中，每个 SoC 的带宽需求都会超过几 TB/s，上百倍的数据传输差距使得传统 DRAM 远不能满足 AI 训练所需的算力缺口。

不同内存类型之间 DRAM 容量和带宽的差异



（2）传输效能问题：由于分离距离问题，数据存算间（I/O）会有很大的延误，一步数据计算过后的大部分时间都在读取内存，查询所用的大量时间与吞吐量影响用户体验，数据传输能量消耗占总数据存算的 60-90%，严重浪费效能。

GDDR 与 HBM 结构分布



（3）占用空间问题：传统 GDDR 由于是 2D 平面分布，占用空间大，无法满足目前消费电子轻量化与便携化的需求。
GDDR 与 HBM 占用空间对比



GDDR5：采用传统IFBGA封装，以32-bit位宽、1750MHz时钟速度（7GBps）及1.5V电压，在1.5V电压下保持较低延迟特性，更适合对延迟敏感的游戏显卡与消费级图形处理场景。HBM：通过3D堆叠+TSV技术实现1024-bit超高位宽与单堆栈超100GB/s带宽，配合1.3V低电压设计，在高性能计算、AI及数据中心场景中以高带宽、低功耗优势主导；

两者分别适配“低延迟单线程”与“高带宽并行计算”需求。

---

AI 时代存力的首选，HBM 是高性能计算卡的核心组件之一
自 ChatGPT 爆火之后，国内外大厂争相竞逐 AI 大模型。而 AI 大模型的基础，就是靠海量数据和强大算力来支撑训练和推理过程。参数量越大，AI 模型越智能，如GPT-4达1.76万亿参数，训练需百万次调取千亿字节数据。在为期两个月的训练中，必须来回调取数百万次如此庞大的数据。如果能缩短数据存取，就会大大简化训练过程。过去20年，硬件算力激增9万倍，而内存/硬件互连带宽却只是提高了 30 倍。存储性能滞后导致“内存墙”——数据搬运耗时远超运算此时，高带宽内存 HBM 应运而生，被认为是 AI 计算的首选内存。

HBM发展迭代

---

NVIDIA 和 AMD 依靠 HBM 持续提升 GPU 性能

NVIDIA 不同 GPU 型号搭载 HBM 情况



NVIDIA 已在搭载 HBM 的 GPU 型号上迭代 5 次，性能也在不断跟进以适配 AI 模型与训练的需求。在 7 年时间内，从 V100 架构时代搭载的 HBM2 已经演化到了 GB200 的 HBM3E，而内存宽带与容量则是在这几年内翻了数倍。以同一 Hopper 架构下的 H100 SXM 和 H200 SXM为例，在其他硬件条件与接口协议相同的情况下，搭载了 HBM3E 的 H200 SXM 要比搭载了HBM3 的 H100 SXM 在带宽速率上提升了 43%，在容量上也是扩增了 76%。而对比落后了一整代，搭载了 HBM 2E 的 A100 SXM，带宽速率更是提高了 141%，所有的这一切提升都是HBM 性能迭代带来的优势。



AMD 不同 GPU 型号搭载 HBM 情况

---

---

HBM工艺发展



1. 堆叠层数与厚度演进：从4层（4-Hi，2015年）向20层（20-Hi，2028年）扩展，DRAM晶圆厚度同步从90μm减至36μm，既提升存储容量与带宽，又通过薄型化降低寄生电容、优化散热效率，支撑高密度集成需求。

2. 键合技术迭代：经历TC-NCF（微凸点热压缩）、MR-MUF（模制底部填充）到Cu-Cu混合键合的突破，后者通过铜-铜直接互联实现更高互联密度与更低电阻，显著提升数据传输速率并减少信号延迟与功耗，成为高带宽低延迟的核心技术支撑。

3. 材料与结构优化：TSV/Bump间距从35μm压缩至10-15μm，缩短数据传输路径，降低信号延迟与功耗；结构优化在保持小封装尺寸的同时，通过堆叠层数增加与键合技术升级，实现存储容量、带宽、散热效率及信号完整性的协同提升，满足AI大模型对高性能内存的极致需求。

---

市场发展分析

HBM市场分析



据Yole预测：2026年全球HBM市场规模将达460亿美元，占DRAM市场比重达35%。推动高带宽存储器（HBM）市场增长的主要因素包括对高带宽、低功耗和高度可扩展存储器的需求不断增长、人工智能的日益采用以及电子设备小型化的趋势不断上升。

市场格局仍由韩厂主导——根据 Counterpoint Research 的数据，2025 年第二季度全球高带宽内存（HBM）芯片市场中，SK 海力士以 62% 的市场占有率稳居第一，美光科技以 21% 的份额位居第二，三星电子以 17% 的份额位列第三。