HBM

可以先理解为:靠近GPU提供高带宽的堆叠内存

GPU 很会算,但也要吃得上数据。HBM 就像贴在 GPU 旁边的高速食堂,让数据送得更快。

关键结构图

当前相关远处弱强

中心节点写「HBM」,周围连接 memory wall、KV cache、AI 工厂,用细线表示相邻路径和调用方向。

HBM 是高带宽内存,把 DRAM 垂直堆叠并靠近 GPU / accelerator,以提供极高带宽和更低数据移动成本。它是 AI 加速器释放算力的重要内存路径。

当你需要理解模型之外还有哪些基础设施支撑 AI 能力时,可以用「HBM」命名这块砖,再连接相邻概念继续判断。

AI 系统的瓶颈不只在算力,也在数据能否足够快地喂给计算单元。HBM 是缓解 memory wall 的关键硬件路径。

在拆解一个 AI 系统为什么能稳定运行时,你可以用「HBM」标记其中最需要被看见的结构,再检查它提供了什么证据、边界或行动方向。

在整理「AI 基础设施」主题时,把「HBM」和「memory wall」放在同一路径里,可以帮助读者从单点概念走向可复用的判断框架。

类型:系统结构 / 概念整理

事实线:这张卡把「HBM」整理为概念提炼: HBM 是高带宽内存,把 DRAM 垂直堆叠并靠近 GPU / accelerator,以提供极高带宽和更低数据移动成本。

依据:1000 Bricks 本地砖块库的概念定义、相邻砖块关系和AI 基础设施、系统架构和工具链讨论。

边界:适用于「AI 基础设施、算力、存储、运行时和工具系统」主题下的理解、复盘和设计判断;不等于行业统一标准或对所有场景都成立的结论。

常见误读:不要把它当作某篇材料的原文摘要,也不要因为概念名清晰就忽略具体情境和验证证据。