HBM解決傳統DRAM記憶體限制訊息流通的問題，透過同一封裝內晶片的矽中介質和SoC集成在一起，克服數據I/O封裝管腳限制的最大數量，突破DDR寬帶限制的問題，讓AI離不開HBM。SK海力士目前市占率超過五成，有主宰HBM價格的能力。

文／魏聖峰

過去記憶體常常擺脫不了景氣循環的宿命，隨著科技進入ＡＩ世代，伴隨著對高頻寬記憶體（ＨＢＭ）的需求，讓記憶體有新的轉機。Nvidia執行長黃仁勳曾經表示，若ＧＰＵ要順利推動ChatGTP等最先進生成式ＡＩ，要最大限度地發揮ＧＰＵ性能，必須有ＨＢＭ。今年Nvidia搭配ＡＩ處理器平台的ＨＢＭ的主流規格是HBM3和HBM3e，下一世代ＧＰＵ平台Rubin（二○二六年推出）就要採用HBM4，屆時誰能搶到較多的市占率，將有機會主宰HBM領導角色。

ＨＢＭ產能供不應求

黃仁勳對ＨＢＭ曾經有過這樣的評論，就是買越多、省越多！難道ＨＢＭ價格是比傳統記憶體DRAM便宜嗎？當然不是這樣！ＨＢＭ作為先進的記憶體，它的技術比傳統DRAM技術困難很多，由於廠商目前在ＨＢＭ的良率還不是很高（僅約五○∼六○％），工序複雜，價格當然不會便宜。在ＧＰＵ跨入ＡＩ世代時，只有DDR5/HBM才有辦法在ＡＩ高倍速（ＨＣＰ）的環境下運作，其他規格的記憶體都不行，加上全世界只有ＳＫ海力士、美光科技和三星電子等的記憶體大廠製程有能力做出ＨＢＭ，以至於產能有限，市場供不應求，ＨＢＭ目前是賣方喊價的市場。

隨著市場對ＨＢＭ需求越來越大，ＳＫ海力士、美光科技和三星電子等三大記憶體製造商未來的資本支出會大幅用來生產ＨＢＭ，並且會逐步把之前生產較低階DRAM生產線，逐步改為ＨＢＭ生產線。根據集邦科技的統計，去年底ＨＢＭ占整體DRAM產能約八％，市場規模四三．五六億美元、年成長率達一一○％。預估到今年底，ＨＢＭ在DRAM的比重將有機會達到二○％、一六九．一億美元的產值。ＨＢＭ的生產週期比DDR5更長，從投片到產出與封裝完成需要兩個季度以上，生產周期（包含ＴＳＶ）會比DD5多出一．五∼二個月以上不等，對ＨＢＭ買家來說，都要及早規劃預定，否則有錢也買不到。目前這三大廠針對今年的產能都已經預訂一空，ＳＫ海力士日前宣布明年的產能都被預訂一空，美光科技明年的產能也差不多被訂完。

不過，最近傳出三星電子沒有通過Nvidia的認證，主要是因為過熱和功耗有問題。據了解，從去年起三星電子一直嘗試通過Nvidia的第四代HBM3和第五代HBM3e的認證，但到日前為止，三星電子八層與十二層堆疊的HBM3與HBM3e都未通過認證。三星電子沒通過Nvidia就無法打入Nvidia的供應鏈，目前也只能供應超微和其他ＣＳＰ客戶，這會讓三星電子在未來的ＨＢＭ市場被弱化，畢竟打不進Nvidia供應鏈就等於沒打進主流市場。這個情況，可能會讓ＳＫ海力士會在ＨＢＭ的主宰力更大，價格會更硬，這也是Nvidia和超微不樂見的現象。去年底ＨＢＭ市占率中，ＳＫ海力士擁有高達五成的市占率、三星電子約四成、美光科技僅一成。美光科技最大的問題就是產能不足，未來要觀察美光科技在一β製程已經開出來後，能否提高ＨＢＭ產能，來搶占三星電子空出來的市占率。

黃仁勳四日在COMPUTEX會場中表示，ＳＫ海力士和美光科技已是Nvidia的ＨＢＭ供應鏈，而三星電子還在努力中。言下之意，Nvidia仍期待三星電子能通過認證，成為ＨＢＭ供應鏈的一環。

解決傳統DRAM許多問題

ＨＣＰ是進入ＡＩ領域的必經過程，且在短期間內要處理最多的大數據資料。ＨＢＭ會成為ＡＩ的必需品，在技術上ＨＢＭ解決了傳統DRAM遇到的內存高牆（MemoryWall）問題，這問題限制數據無法流通，是傳統DRAM無法用在ＡＩ用途的原因。ＨＢＭ利用獨特的矽穿孔（ＴＳＶ）技術，讓訊息透過矽中介層能緊湊地讓數據連結ＧＰＵ。如此能節省數據傳輸的時間延遲與耗能問題。ＨＢＭ是以數個DDR堆疊方式形成，從四層、八層到十二層不等，形成大容量和高寬帶的DDR組合陣列。採用堆疊方式最高能節省九四％的晶片面積，ＨＢＭ透過同一封裝內的矽中介層與SoC集成在一起，能夠克服數據I/O封裝管腳限制的最大數量，進而突破內存寬帶的限制。綜合來看，高寬帶、低延遲、低功耗以及高效傳輸等特性，讓ＨＢＭ成為ＡＩ運作過中記憶體的首選。

隨著ＡＩ算力提升，對周邊設備規格的要求也越來越嚴謹。根據Nvidia官網顯示，以A100當時搭配HBM2e的效能為基礎，二三年的H100搭配HBM3時，運作效能比A100提高十一倍，而H200搭配HBM3e的運作效能更比A100提高十八倍，即將在今年下半年推出的B100搭配HBM3e的效能，又比H200的效能至少再高出一倍。

ＨＢＭ世代大幅提升效能

二二年Nvidia的Hopper架構平台搭載的H100、H200GPU普遍採用HBM2e、HBM3和HBM3e，今年要推出的Blackwell平台搭載GB100、GB200GPU採用HBM3e，GraceHopper架構平台至少搭載HBM3e。超微去年推出的CDNA3架構搭載MI300A、MI300XGPU使用HBM3，今年要推出的Ｅ架構、搭載MI350GPU將採用HBM3e。因此，HBM3和HBM3e是目前ＡＩ平台普遍使用的規格。

英特爾Gaudi2平台、谷歌的TPU平台、亞馬遜自己研發的Inferentia2和Trainium平台、微軟Maia100平台目前均使用HBM2e。僅亞馬遜Trainium2平台使用HBM3。Meta平台自行研發的MTIA3可能使用到HBM3e。上述ＡＩ平台搭載的HBM等級還沒有達到Nvidia和超微的水準。谷歌、亞馬遜、微軟和Meta平台都是自用為主，這些ＣＳＰ業者也向Nvidia和超微採購高階的ＡＩ架構平台，彌補自己研發的不足。

ＨＢＭ規格這幾年翻新速度很快，從Nvidia在一七年推出的TeslaV100當時搭載HBM2，目前已經演化到GB200的HBM3e，ＨＢＭ的寬帶與容量成長數倍之多。Nvidia指出，以同一個Hopper架構為例，H200SXM搭載HBM3e比H100SXM搭載HBM2e，在寬帶速率上提升四三％，容量上則擴增七六％，而對比落後兩個世代搭載HBM2e的A100SXM相比，寬帶速率更是提高了一四一％，這都是ＨＢＭ性能經過世代交替後所帶來的優勢。不論是Nvidia還是超微今、明年要推出的ＡＩ架構平台，將會朝向HBM3e，將帶動ＡＩ單晶片搭載ＨＢＭ的容量大幅提升。集邦科技預估，今年ＨＢＭ需求位元成長率將近二○○％，明年可望再翻倍。

各家將決戰HBM4

ＨＢＭ下個世代將轉向HBM4，挑戰更高製程難度。黃仁勳在二日晚間的演講中提到Nvidia新一代Rubin架構平台將在二六年量產，預計要搭載HBM4，Rubin將採用台積電三奈米製程，HBM4屆時將逐漸成為主流。ＨＢＭ發展到HBM3e時，ＳＫ海力士都採自家製程，最新的HBM3e採用與美光科技同等級的一β製程。不過，進入HBM4後，ＳＫ海力士已經與台積電簽訂備忘錄，未來將採用台積電CoWoS的先進封裝技術，期待能將附加功能封裝到有限的單晶片空間內，以滿足客戶對性能和功效的要求。美光科技早就與台積電有合作關係，也是台積電的長期客戶，美光使用ＥＵＶ技術來生產HBM3e，未來的HBM4與台積電的合作關係也可能會越來越密切，因為台積電擁有全球高達九二％的先進製程，靠向台積電的先進製程，才可能提高晶片封裝後的效能。台積電也期待與客戶的密切合作，提供完整的HBM4解決方案。

ＨＢＭ發展到HBM3e階段，ＳＫ海力士始終維持超過一半的市占率，三星電子和美光科技能否趕上ＳＫ海力士仍有一定的困難度。尤其是三星電子在HBM3與HBM3e沒通過Nvidia認證，部分市占率會遭美光科技和ＳＫ海力士吞噬。在這個市場上，誰能有最高的市占率就有更強的定價能力，未來ＡＩ對高階ＨＢＭ的需求會越來越高，誰能開出最大的產能就是最後的贏家。 閱讀完整內容