文|半導體產業縱橫

ChatGPT已經從下游AI應用火到了上游芯片領域，在將GPU等AI芯片推向高峰的同時，也極大帶動了市場對新一代內存芯片HBM（高帶寬內存）的需求。據悉，2023年開年以來，三星、SK海力士的HBM訂單就快速增加，價格也水漲船高。有市場人士透露，近期HBM3規格DRAM價格上漲了5倍。

HBM（High Bandwidth Memory，高帶寬內存）是一款新型的CPU/GPU 內存芯片，其實就是將很多個DDR芯片堆疊在一起后和GPU封裝在一起，實現大容量，高位寬的DDR組合陣列。

內存市場自去年下半年已經開始進入寒冬，HBM為何依舊火熱呢？

01、需求所致

長期以來，內存行業的價值主張在很大程度上始終以系統級需求為導向，已經突破了系統性能的當前極限。很明顯的一點是，內存性能的提升將出現拐點，因為越來越多人開始質疑是否能一直通過內存級的取舍（如功耗、散熱、占板空間等）來提高系統性能。相較于傳統 DRAM，HBM 在數據處理速度和性能方面都具有顯著優勢，有望獲得業界廣泛關注并被越來越多地采用。

隨著集成電路工藝技術的發展，3D和2.5D系統級封裝（SiP）和硅通孔（TSV）技術日益成熟，為研制高帶寬、大容量的存儲器產品提供了基礎。針對內存高帶寬、大容量、低功耗的需求，從2013年開始，國際電子元件工業聯合會（JEDEC）先后制定了3代、多個系列版本的高帶寬存儲器（HBM、HBM2、HBM2E、HBM3）標準。2022年1月28日，JEDEC正式發布了JESD238 HBM DRAM（HBM3）標準，技術指標較現有的HBM2和HBM2E標準有巨大的提升，芯片單個引腳速率達到6.4Gbit/s，實現了超過1TB/s的總帶寬，支持16-Hi堆棧，堆棧容量達到64GB，為新一代高帶寬內存確定了發展方向[9]。HBM通過TSV和微凸塊技術將3D垂直堆疊的DRAM芯片相互連接，突破了現有的性能限制，大大提高了存儲容量，同時可提供很高的訪存帶寬。

HBM的優點

HBM堆疊結構 來源：電子與封裝

高速、高帶寬HBM堆棧沒有以外部互連線的方式與信號處理器芯片連接，而是通過中間介質層緊湊而快速地連接，同時HBM內部的不同DRAM采用TSV實現信號縱向連接，HBM具備的特性幾乎與片內集成的RAM存儲器一樣。

可擴展更大容量

HBM具有可擴展更大容量的特性。HBM的單層DRAM芯片容量可擴展；HBM通過4層、8層以至12層堆疊的DRAM芯片，可實現更大的存儲容量；HBM可以通過SiP集成多個HBM疊層DRAM芯片，從而實現更大的內存容量。SK Hynix最新的HBM3堆棧容量可達24 GB。

更低功耗

由于采用了TSV和微凸塊技術，DRAM裸片與處理器間實現了較短的信號傳輸路徑以及較低的單引腳I/O速度和I/O電壓，使HBM具備更好的內存功耗能效特性。以DDR3存儲器歸一化單引腳I/O帶寬功耗比為基準，HBM2的I/O功耗比明顯低于DDR3、DDR4和GDDR5存儲器，相對于GDDR5存儲器，HBM2的單引腳I/O帶寬功耗比數值降低42%。

更小體積

在系統集成方面，HBM將原本在PCB板上的DDR內存顆粒和CPU芯片一起全部集成到SiP里，因此HBM在節省產品空間方面也更具優勢。相對于GDDR5存儲器，HBM2節省了94%的芯片面積。

02、HBM新時代，巨頭布局

HBM每一次更新迭代都會伴隨著處理速度的提高。引腳（Pin）數據傳輸速率為1Gbps的第一代HBM，發展到其第四代產品HBM3，速率則提高到了6.4Gbps，即每秒可以處理819GB的數據。也就是說，下載一部片長達163分鐘的全高清（Full-HD）電影（5GB）只需1秒鐘。這與上一代HBM2E（3.6Gbps）相比，速率翻了一番。

當然，存儲器的容量也在不斷加大：HBM2E的最大容量為16GB，HBM3的最大容量則增加到了24GB（業界最大容量）。SK海力士將同時推出16GB和24GB兩種容量的HBM3產品。此外，HBM3還搭載了ECC校檢（On Die-ErrorCorrection Code），可以自動更正DRAM單元（cell）傳輸數據的錯誤，從而提升了產品的可靠性。

硅穿孔（TSV，Through Silicon Via）可以說是使存儲器的上述高性能得以實現的核心技術。TSV技術通過電極連接DRAM芯片上的數千個微細小孔，從而連接芯片，傳送數據。比起通過在芯片上連接引線的方式傳送數據的傳統技術，TSV技術不僅可以實現速度翻倍，還有助于提升密度（density）。

HBM3與HBM2E最根本的區別在于產品規格（spec）本身得到了升級。在HBM2的產品規格下，其速度和容量已經達到了極限，無法再進一步提高。因此，SK海力士研發團隊定義了一種全新的產品規格——HBM3。

美光公司（Micron）高性能存儲器和網絡業務副總裁兼總經理Mark Montierth表示：“美光致力于為世界最先進的計算系統提供業界性能最佳的解決方案。HBM3所提供的內存帶寬對實現下一代高性能計算、人工智能和百萬兆級系統至關重要。我們與新思科技的合作將加速HBM3產品生態系統的發展，以實現前所未有的超高帶寬、功耗和性能。”

三星電子內存產品規劃高級副總裁Kwangil Park表示：“在數據驅動的計算時代，人工智能、高性能計算、圖形和其他應用程序的發展極大提高了對內存帶寬的需求。作為世界領先的內存芯片制造商，三星一直致力于支持生態系統的形成，并開發HBM以滿足不斷增長的帶寬需求。新思科技是HBM行業的生態系統先驅，也是三星的重要合作伙伴，我們期待與新思攜手繼續為客戶提供更好的HBM性能。” 三星布局高帶寬存儲器（HBM）市場較為積極，并憑借深厚的積累在高帶寬存儲器（HBM）市場具備一定的影響力。2021年三星宣布了一項新的突破，面向AI人工智能市場首次推出了HBM-PIM技術。在此前，行業內性能最強運用最廣泛的是HBM和HBM2內存技術，而這次的HBM-PIM則是在HBM芯片上集成了AI處理器的功能。PIM直接在存儲芯片上集成了計算功能，而不是CPU、內存數據分離，這一突破促使了三星首發的HBM-PIM技術實現了2倍的性能，同時功耗還降低了70%。

在2022年技術發布會上發布的內存技術發展路線圖中，三星展示了涵蓋不同領域的內存接口演進的速度。在云端高性能服務器領域，HBM已經成為了高端GPU的標配，這也是三星在重點投資的領域之一。HBM的特點是使用高級封裝技術，使用多層堆疊實現超高IO接口寬度，同時配合較高速的接口傳輸速率，從而實現高能效比的超高帶寬。

在三星發布的路線圖中，2022年HBM3技術已經量產，其單芯片接口寬度可達1024bit，接口傳輸速率可達6.4Gbps，相比上一代提升1.8倍，從而實現單芯片接口帶寬819GB/s，如果使用6層堆疊可以實現4.8TB/s的總帶寬。

2024年預計將實現接口速度高達7.2Gbps的HBM3p，從而將數據傳輸率相比這一代進一步提升10%，從而將堆疊的總帶寬提升到5TB/s以上。另外，這里的計算還沒有考慮到高級封裝技術帶來的高多層堆疊和內存寬度提升，預計2024年HBM3p單芯片和堆疊芯片都將實現更多的總帶寬提升。而這也將會成為人工智能應用的重要推動力，預計在2025年之后的新一代云端旗艦GPU中看到HBM3p的使用，從而進一步加強云端人工智能的算力。

海士力（SKhynix）公司副總裁、HBM產品負責人兼DRAM設計主管Cheol Kyu Park Hyun表示：“作為全球領先的半導體制造商，海士力不斷投資開發包括HBM3 DRAM在內的下一代內存技術，以滿足AI和圖形應用工作負載的指數式增長所帶來的需求。與新思科技建立長期合作關系，有助于我們為共同客戶提供經過全面測試和可互操作的HBM3解決方案，以提高內存性能、容量和吞吐量。”

SK海力士在新一代高帶寬內存(HBM，High Bandwidth Memory)市場上，正展開乘勝追擊。其秘訣正是得益于MR-MUF(Mass Reflow Molded Underfill)技術。通過自主研發的這項技術，SK海力士不僅擊敗了競爭對手美光半導體（Micron），還擊敗了DRAM市場排名第一的三星電子，主導了處于起步階段的HBM內存市場。曾位居DRAM萬年老二的SK海力士在最前沿的內存市場技術上領先競爭對手，另業界矚目。

03、ChatGPT推動

ChatGPT等新興AI產品對高性能存儲芯片的需求與日俱增。據韓國經濟日報報道，受惠于ChatGPT，三星、SK海力士高帶寬內存（high bandwidth memory，HBM）接單量大增。

與 HBM 相關的上下游企業也在紛紛發力，以期搶占先機。AMD 在 HBM 的誕生與發展過程中功不可沒。最早是 AMD 意識到 DDR 的局限性并產生開發堆疊內存的想法，其后與 SK 海力士聯手研發了 HBM，并在其 Fury 顯卡采用全球首款 HBM。據 ISSCC 2023 國際固態電路大會上的 消息，AMD 考慮在 Instinct 系列加速卡已經整合封裝 HBM 高帶寬內存的基礎上，在后者之上繼 續堆疊 DRAM 內存，在一些關鍵算法內核可以直接在整合內存內執行，而不必在 CPU 和獨立內 存之間往復進行通信傳輸，從而提升 AI 處理的性能，并降低功耗。

英偉達同樣重視處理器與內存間的協同，一直在要求 SK 海力士提供最新的 HBM3 內存芯片。據悉，目前已經有超過 2.5 萬塊英偉達計算卡加入到了深度學習的訓練中。如果所有的互聯網企 業都在搜索引擎中加入 ChatGPT 這樣的機器人，那么計算卡以及相應的服務器的需求量將達到 50 萬塊，也將連同帶動 HBM 的需求量大幅增長。

IP廠商亦已先行布局HBM 3。去年，Synopsys推出首個完整的HBM3 IP解決方案，包括用于2.5D多芯片封裝系統的控制器、PHY（物理層芯片）和驗證IP。HBM 3 PHYIP基于5nm制程打造，每個引腳的速率可達7200Mbps，內存帶寬最高可提升至921GB/s。Rambus也推出支持HBM3的內存接口子系統，內含完全集成的PHY和數字控制器，數據傳輸速率達8.4Gbps，可提供超過1TB/s的帶寬。