内存厂商生产三种内存:DDR(桌面电脑用的内存)、LPDDR(手机用的低功率内存)、HBM(AI 机房用的高带宽内存)。
由于 AI 公司对 HBM 的需求激增,开出高价,内存厂商的生产能力转向 HBM,减少了 DDR 和 LPDDR 的产量,导致消费电子设备的内存短缺,价格上涨。
第一次知道有 HBM 类型的内存条。
HBM(High Bandwidth Memory,高带宽内存)是一种专为高性能计算设计的先进 DRAM 技术。
与传统内存将多个芯片平铺在主板上不同,HBM 利用硅通孔(TSV)技术将多层 DRAM 芯片垂直堆叠,再通过硅中介层(Interposer)与 GPU、AI 加速器或 CPU 封装在同一封装内,极大缩短了数据传输路径。
HBM 采用 1024 位超宽总线 和较低工作频率,通过“宽总线、低频率”的设计实现每秒数 TB 的内存带宽,同时相比传统 DDR 或 LPDDR 具有更低的单位带宽功耗。
近年来,随着生成式 AI 和大模型训练的发展,GPU 对内存带宽的需求远高于容量需求,HBM 已成为 AI 芯片不可或缺的关键组件。
目前主流产品已发展至 HBM3 和 HBM3E,广泛应用于 NVIDIA、AMD 等公司的 AI GPU,以及高性能计算、超级计算机和数据中心加速器中,其性能已成为衡量 AI 芯片竞争力的重要指标之一。
HBM、DDR、LPDDR 的区别
| 特性 | HBM | DDR | LPDDR |
|---|---|---|---|
| 全称 | High Bandwidth Memory | Double Data Rate SDRAM | Low Power DDR |
| 主要用途 | AI GPU、HPC、数据中心 | PC、服务器 | 手机、平板、笔记本 |
| 安装位置 | 与 GPU/CPU 同封装 | DIMM 内存条 | 焊接在主板或 SoC 附近 |
| 芯片结构 | TSV 垂直堆叠 | 平面封装 | 平面封装 |
| 总线宽度 | 1024 bit | 64 bit(每通道) | 16~32 bit(每通道) |
| 工作频率 | 较低 | 较高 | 较低 |
| 内存带宽 | ★★★★★(TB/s 级) | ★★★ | ★★ |
| 功耗 | 单位带宽最低 | 中等 | 最低(整体) |
| 成本 | 最高 | 较低 | 中等 |
| 容量扩展 | 较困难 | 最容易 | 有限 |
三者定位
- DDR:追求容量、成本和可扩展性,适合 PC 和服务器。
- LPDDR:追求低功耗,主要用于移动设备和轻薄本。
- HBM:追求极致带宽,专门解决 GPU、AI 加速器和超级计算机的数据吞吐瓶颈,其成本最高、封装最复杂,但能够提供传统 DDR 难以企及的内存带宽。