ChatGPT等新興AI產品對高性能存儲晶片的需求與日俱增。據韓國經濟日報報導，受惠於ChatGPT，三星、SK海力士高帶寬內存（high bandwidth memory，HBM）接單量大增。

HBM是一種基於3D堆疊工藝的DRAM內存晶片，它就像摩天大廈中的樓層一樣可以垂直堆疊。基於這種設計，信息交換的時間將會縮短。這些堆疊的數顆DRAM晶片通過稱為「中介層（Interposer）」的超快速互聯方式連接至CPU或GPU，最後可將組裝好的模塊連接至電路板。

英偉達等AI巨擘排隊下單SK海力士

據韓國媒體報導，SK海力士第五代高頻寬記憶體（High Bandwidth Memory，HBM）深獲AI業界矚目，英偉達等巨擘已大排長龍，等著下單預購。

除英偉達外，AMD、微軟、亞馬遜等在內的全球科技巨擘，已依序向SK海力士要求HBM3E樣本。

據了解，申請樣本是下單前的必要程序，目的是釐清存儲器與客戶的GPU、IC或雲端系統是否相容。這暗示，HBM3E良率已經很穩定、能夠大量生產，已經到了交貨前的最後階段。

HBM3E是當前第四代「HBM3」的下一代產品。SK海力士為全球唯一一家正在量產HBM3的企業。

據報導，由於需求暴增，SK海力士已決定明年大擴產、採用最先進的10納米等級的第五代技術，多數新增產能將用來生產HBM3E。

大模型帶動HBM市場需求高增長

大模型的發展正在帶動HBM的市場需求。近大半年時間，國內外科技網際網路龍頭企業都在參與大模型的研發，國外的包括谷歌、微軟、Meta、Open AI，英偉達等，國內的包括百度、華為、阿里、騰訊、商湯、可達訊飛、崑崙萬維、雲知聲等。

伺服器是算力的核心基礎設施，大模型數據量的指數級增長拉升AI伺服器需求大幅提升。根據機構調研，目前高端AI伺服器GPU搭載HBM晶片已成主流，預計2023年全球HBM需求量將增近六成，達到2.9億GB，2024年將再增長30%。

這對於HBM企業及上游產業鏈來說無疑都是好消息。目前市場上的HBM主要由SK海力士、三星、美光三家廠商供應，根據2022年數據，三家公司的市場占有率分別為50%、40%、10%。其中，預計2023年SK海力士將受益HBM3產品的量產，市占率有望提升至53%。

在HBM領域，SK海力士走在業界前列，2014年SK海力士與AMD聯合開發了全球首款矽穿孔HBM產品，其帶寬高於GDDR5產品。2022年6月實現HBM3的量產，並向英偉達大量供貨，配置在英偉達高性能GPUH100之中。

三星緊隨其後，在HBM領域的發展也較為順利，於2016年首次量產HBM2產品，同時發布了4GB和8GB的HBM2 DRAM。2024年預計實現接口速度高達7.2Gbps的HBM3P，2025年在新一代面向AI的GPU中見到HBM3P的應用。

在三家公司中，美光稍有落後，其於2020年7月宣布大規模量產HBM2E，HBM3在研發中。

高算力AI應用呼喚高性能內存晶片

ChatGPT等高算力AI應用的火爆將基礎設施端逐漸推向前台。

三星內存副總裁Kim Jae-joon曾說，ChatGPT等基於自然語言技術的交互式AI應用的發展有利於提升內存需求。高效且大量的運算能力、高容量的內存，是AI學習與推論模型的根基。

目前，搭載於新興AI應用的內存晶片亟待升級。

首先，ChatGPT這類生成式AI應用需要在海量的訓練數據中進行學習，才能實現高質量的生成輸出。為了實現關鍵詞識別、圖像識別等功能，AI模型需要存儲大量的圖片和音頻信息。

其次，面向C端用戶的AI應用必須具備快速處理數據的能力，才能向用戶實時輸出AI計算結果，因此也對內存晶片的數據傳輸速度提出了更高要求。

與此同時，隨著人工智慧技術的進一步普及，越來越多的AI應用發生在行動裝置和物聯網終端設備上，而這些設備大多採用電池供電或充電，對功耗十分敏感。

如此一來，以HBM為代表的超高帶寬內存技術有望成為相關加速晶片的必然選擇，同時生成類模型也會加速HBM內存進一步增大容量和增大帶寬。

除了HBM之外，CXL（計算快速連結）等新的存儲技術加上軟體的優化也有將在這類應用中增加本地存儲的容量和性能，估計會從生成類模型的崛起中獲得更多的工業界採用。