TOC

HBM 高带宽内存

内存厂商生产三种内存:DDR(桌面电脑用的内存)、LPDDR(手机用的低功率内存)、HBM(AI 机房用的高带宽内存)。
由于 AI 公司对 HBM 的需求激增,开出高价,内存厂商的生产能力转向 HBM,减少了 DDR 和 LPDDR 的产量,导致消费电子设备的内存短缺,价格上涨。

第一次知道有 HBM 类型的内存条。


HBM(High Bandwidth Memory,高带宽内存)是一种专为高性能计算设计的先进 DRAM 技术。

与传统内存将多个芯片平铺在主板上不同,HBM 利用硅通孔(TSV)技术将多层 DRAM 芯片垂直堆叠,再通过硅中介层(Interposer)与 GPU、AI 加速器或 CPU 封装在同一封装内,极大缩短了数据传输路径。

HBM 采用 1024 位超宽总线 和较低工作频率,通过“宽总线、低频率”的设计实现每秒数 TB 的内存带宽,同时相比传统 DDR 或 LPDDR 具有更低的单位带宽功耗。

近年来,随着生成式 AI 和大模型训练的发展,GPU 对内存带宽的需求远高于容量需求,HBM 已成为 AI 芯片不可或缺的关键组件。

目前主流产品已发展至 HBM3 和 HBM3E,广泛应用于 NVIDIA、AMD 等公司的 AI GPU,以及高性能计算、超级计算机和数据中心加速器中,其性能已成为衡量 AI 芯片竞争力的重要指标之一。

HBM、DDR、LPDDR 的区别

特性 HBM DDR LPDDR
全称 High Bandwidth Memory Double Data Rate SDRAM Low Power DDR
主要用途 AI GPU、HPC、数据中心 PC、服务器 手机、平板、笔记本
安装位置 与 GPU/CPU 同封装 DIMM 内存条 焊接在主板或 SoC 附近
芯片结构 TSV 垂直堆叠 平面封装 平面封装
总线宽度 1024 bit 64 bit(每通道) 16~32 bit(每通道)
工作频率 较低 较高 较低
内存带宽 ★★★★★(TB/s 级) ★★★ ★★
功耗 单位带宽最低 中等 最低(整体)
成本 最高 较低 中等
容量扩展 较困难 最容易 有限

三者定位

  • DDR:追求容量、成本和可扩展性,适合 PC 和服务器。
  • LPDDR:追求低功耗,主要用于移动设备和轻薄本。
  • HBM:追求极致带宽,专门解决 GPU、AI 加速器和超级计算机的数据吞吐瓶颈,其成本最高、封装最复杂,但能够提供传统 DDR 难以企及的内存带宽。
如果你有魔法,你可以看到一个评论框~