曾经下载一部电影需要等待一个多小时。如今，最新的芯片可以在一秒钟内传输相当于160多部全高清电影的数据。
而高带宽内存（HBM）正是这种快如闪电的数据传输背后的技术。人工智能（AI）芯片行业对HBM有了新的认识，然而，HBM在2013年首次推出时，分析师曾一度认为它不可能具有商业可行性。
美国芯片设计公司英伟达和AMD正在为这项先进技术注入新的活力，如今它已成为所有人工智能芯片的关键组成部分。对于人工智能芯片制造商来说，最紧迫的问题是，随着企业急于扩建数据中心和开发大型语言模型（LLM）等人工智能系统，对更多处理能力和带宽的需求不断增长。
同时，数据量巨大的生成式人工智能应用正在挑战传统存储芯片所能提供的性能极限。更快的数据处理速度和传输速率需要更多的芯片，这些芯片需要占用更多的物理空间，消耗更多的电能。
迄今为止，传统的安装方式是将芯片并排放置在一个平面上，然后通过布线和保险丝连接起来。这样的结果往往是芯片越多，通信速度越慢，功耗越高。
HBM颠覆了芯片行业数十年来的传统，其将多层芯片堆叠在一起，并使用尖端元件，包括比一张纸还薄的微小电路板，将芯片以三维形状更紧密地封装在一起。
这种改进对人工智能芯片制造商来说至关重要，因为芯片之间的距离越近，能耗越低，HBM的能耗比传统结构低约四分之三。研究还表明，HBM还能提供高达五倍的带宽，而且占用空间更小，不到现有产品的一半。
AMD和韩国芯片制造商SK海力士早在15年前就开始研究HBM，当时高性能芯片主要用于游戏领域。
但当时有人对性能提升是否值得增加成本持怀疑态度。与传统芯片相比，HBM使用了更多的元件，其中许多都是复杂而难以制造的。到2015年，即推出HBM两年后，分析师预计HBM将沦为小众产品，因为对于大众市场而言，其成本似乎过高。
时至今日，HBM的成本依然高昂，至少是标准内存芯片的五倍，但HBM嵌入的人工智能芯片也价格不菲。与十年前相比，现在的科技巨头在先进芯片上的预算要多得多。
目前，只有SK海力士一家公司能够大规模生产第三代HBM产品，也就是最新人工智能芯片中使用的产品。根据咨询公司TrendForce的数据，SK海力士占据了全球HBM市场份额的50%，而其余市场则被三星和美光占据。三星和美光生产上一代 HBM，并将在未来几个月内发布最新版本。它们将从这种高利润产品和快速增长的需求中获得暴利。2023年6月，TrendForce预测2023年全球对HBM的需求将增长60%。
2024年，人工智能芯片大战将进一步推动这一增长。AMD刚刚推出了一款新产品，希望与英伟达抗衡。全球市场供不应求，再加上人们对价格更低廉的英伟达产品需求旺盛，这意味着能够提供规格相当芯片的企业将有机会获得丰厚的利润。但是，撼动英伟达的关键不仅在于物理芯片本身，还在于其软件生态系统，其中包括流行的开发工具和编程模型。要想复制这一点，需要数年时间。
这就是为什么硬件，以及每块新芯片中的HBM数量，对英伟达的竞争者来说变得更加重要。通过使用升级的HBM来提高内存容量，是短期内获得竞争力的少数方法之一。例如，AMD最新的MI300加速器使用了8个HBM，比英伟达产品的5或6个要多。
芯片历来是一个周期性行业，容易出现剧烈的繁荣和萧条。从目前的趋势来看，新产品需求的持续增长应该会使未来的衰退期不像过去那么动荡。 
