h1_key

  ChatGPT已經(jīng)從下游AI應(yīng)用火到了上游芯片領(lǐng)域，在將GPU等AI芯片推向高峰的同時(shí)，也極大帶動(dòng)了市場(chǎng)對(duì)新一代內(nèi)存芯片HBM(高帶寬內(nèi)存)的需求。據(jù)悉，2023年開年以來，三星、SK海力士的HBM訂單就快速增加，價(jià)格也水漲船高。有市場(chǎng)人士透露，近期HBM3規(guī)格DRAM價(jià)格上漲了5倍。

HBM芯片(High Bandwidth Memory，高帶寬內(nèi)存)是一款新型的CPU/GPU 內(nèi)存芯片，其實(shí)就是將很多個(gè)DDR芯片堆疊在一起后和GPU封裝在一起，實(shí)現(xiàn)大容量，高位寬的DDR組合陣列。

  需求所至

長(zhǎng)期以來，內(nèi)存行業(yè)的價(jià)值主張?jiān)诤艽蟪潭壬鲜冀K以系統(tǒng)級(jí)需求為導(dǎo)向，已經(jīng)突破了系統(tǒng)性能的當(dāng)前極限。很明顯的一點(diǎn)是，內(nèi)存性能的提升將出現(xiàn)拐點(diǎn)，因?yàn)樵絹碓蕉嗳碎_始質(zhì)疑是否能一直通過內(nèi)存級(jí)的取舍(如功耗、散熱、占板空間等)來提高系統(tǒng)性能。相較于傳統(tǒng) DRAM，HBM 在數(shù)據(jù)處理速度和性能方面都具有顯著優(yōu)勢(shì)，有望獲得業(yè)界廣泛關(guān)注并被越來越多地采用。

隨著集成電路工藝技術(shù)的發(fā)展，3D和2.5D系統(tǒng)級(jí)封裝(SiP)和硅通孔(TSV)技術(shù)日益成熟，為研制高帶寬、大容量的存儲(chǔ)器產(chǎn)品提供了基礎(chǔ)。針對(duì)內(nèi)存高帶寬、大容量、低功耗的需求，從2013年開始，國(guó)際電子元件工業(yè)聯(lián)合會(huì)(JEDEC)先后制定了3代、多個(gè)系列版本的高帶寬存儲(chǔ)器(HBM、HBM2、HBM2E、HBM3)標(biāo)準(zhǔn)。2022年1月28日，JEDEC正式發(fā)布了JESD238 HBM DRAM(HBM3)標(biāo)準(zhǔn)，技術(shù)指標(biāo)較現(xiàn)有的HBM2和HBM2E標(biāo)準(zhǔn)有巨大的提升，芯片單個(gè)引腳速率達(dá)到6.4Gbit/s，實(shí)現(xiàn)了超過1TB/s的總帶寬，支持16-Hi堆棧，堆棧容量達(dá)到64GB，為新一代高帶寬內(nèi)存確定了發(fā)展方向[9]。HBM通過TSV和微凸塊技術(shù)將3D垂直堆疊的DRAM芯片相互連接，突破了現(xiàn)有的性能限制，大大提高了存儲(chǔ)容量，同時(shí)可提供很高的訪存帶寬。

HBM的優(yōu)點(diǎn)

HBM堆疊結(jié)構(gòu)

高速、高帶寬HBM堆棧沒有以外部互連線的方式與信號(hào)處理器芯片連接，而是通過中間介質(zhì)層緊湊而快速地連接，同時(shí)HBM內(nèi)部的不同DRAM采用TSV實(shí)現(xiàn)信號(hào)縱向連接，HBM具備的特性幾乎與片內(nèi)集成的RAM存儲(chǔ)器一樣。

  可擴(kuò)展更大容量

HBM具有可擴(kuò)展更大容量的特性。HBM的單層DRAM芯片容量可擴(kuò)展;HBM通過4層、8層以至12層堆疊的DRAM芯片，可實(shí)現(xiàn)更大的存儲(chǔ)容量;HBM可以通過SiP集成多個(gè)HBM疊層DRAM芯片，從而實(shí)現(xiàn)更大的內(nèi)存容量。SK Hynix最新的HBM3堆棧容量可達(dá)24 GB。

  更低功耗

  由于采用了TSV和微凸塊技術(shù)，DRAM裸片與處理器間實(shí)現(xiàn)了較短的信號(hào)傳輸路徑以及較低的單引腳I/O速度和I/O電壓，使HBM具備更好的內(nèi)存功耗能效特性。以DDR3存儲(chǔ)器歸一化單引腳I/O帶寬功耗比為基準(zhǔn)，HBM2的I/O功耗比明顯低于DDR3、DDR4和GDDR5存儲(chǔ)器，相對(duì)于GDDR5存儲(chǔ)器，HBM2的單引腳I/O帶寬功耗比數(shù)值降低42%。

  更小體積

在系統(tǒng)集成方面，HBM將原本在PCB板上的DDR內(nèi)存顆粒和CPU芯片一起全部集成到SiP里，因此HBM在節(jié)省產(chǎn)品空間方面也更具優(yōu)勢(shì)。相對(duì)于GDDR5存儲(chǔ)器，HBM2節(jié)省了94%的芯片面積。

  HBM芯片巨頭布局

  HBM每一次更新迭代都會(huì)伴隨著處理速度的提高。引腳(Pin)數(shù)據(jù)傳輸速率為1Gbps的第一代HBM，發(fā)展到其第四代產(chǎn)品HBM3，速率則提高到了6.4Gbps，即每秒可以處理819GB的數(shù)據(jù)。也就是說，下載一部片長(zhǎng)達(dá)163分鐘的全高清(Full-HD)電影(5GB)只需1秒鐘。這與上一代HBM2E(3.6Gbps)相比，速率翻了一番。

  當(dāng)然，存儲(chǔ)器的容量也在不斷加大：HBM2E的最大容量為16GB，HBM3的最大容量則增加到了24GB(業(yè)界最大容量)。SK海力士將同時(shí)推出16GB和24GB兩種容量的HBM3產(chǎn)品。此外，HBM3還搭載了ECC校檢(On Die-ErrorCorrection Code)，可以自動(dòng)更正DRAM單元(cell)傳輸數(shù)據(jù)的錯(cuò)誤，從而提升了產(chǎn)品的可靠性。

  硅穿孔(TSV，Through Silicon Via)可以說是使存儲(chǔ)器的上述高性能得以實(shí)現(xiàn)的核心技術(shù)。TSV技術(shù)通過電極連接DRAM芯片上的數(shù)千個(gè)微細(xì)小孔，從而連接芯片，傳送數(shù)據(jù)。比起通過在芯片上連接引線的方式傳送數(shù)據(jù)的傳統(tǒng)技術(shù)，TSV技術(shù)不僅可以實(shí)現(xiàn)速度翻倍，還有助于提升密度(density)。

  HBM3與HBM2E最根本的區(qū)別在于產(chǎn)品規(guī)格(spec)本身得到了升級(jí)。在HBM2的產(chǎn)品規(guī)格下，其速度和容量已經(jīng)達(dá)到了極限，無法再進(jìn)一步提高。因此，SK海力士研發(fā)團(tuán)隊(duì)定義了一種全新的產(chǎn)品規(guī)格——HBM3。

  美光公司(Micron)高性能存儲(chǔ)器和網(wǎng)絡(luò)業(yè)務(wù)副總裁兼總經(jīng)理Mark Montierth表示：“美光致力于為世界最先進(jìn)的計(jì)算系統(tǒng)提供業(yè)界性能最佳的解決方案。HBM3所提供的內(nèi)存帶寬對(duì)實(shí)現(xiàn)下一代高性能計(jì)算、人工智能和百萬兆級(jí)系統(tǒng)至關(guān)重要。我們與新思科技的合作將加速HBM3產(chǎn)品生態(tài)系統(tǒng)的發(fā)展，以實(shí)現(xiàn)前所未有的超高帶寬、功耗和性能?！?/span>

  三星電子內(nèi)存產(chǎn)品規(guī)劃高級(jí)副總裁Kwangil Park表示：“在數(shù)據(jù)驅(qū)動(dòng)的計(jì)算時(shí)代，人工智能、高性能計(jì)算、圖形和其他應(yīng)用程序的發(fā)展極大提高了對(duì)內(nèi)存帶寬的需求。作為世界領(lǐng)先的內(nèi)存芯片制造商，三星一直致力于支持生態(tài)系統(tǒng)的形成，并開發(fā)HBM以滿足不斷增長(zhǎng)的帶寬需求。新思科技是HBM行業(yè)的生態(tài)系統(tǒng)先驅(qū)，也是三星的重要合作伙伴，我們期待與新思攜手繼續(xù)為客戶提供更好的HBM性能。” 三星布局高帶寬存儲(chǔ)器(HBM)市場(chǎng)較為積極，并憑借深厚的積累在高帶寬存儲(chǔ)器(HBM)市場(chǎng)具備一定的影響力。2021年三星宣布了一項(xiàng)新的突破，面向AI人工智能市場(chǎng)首次推出了HBM-PIM技術(shù)。在此前，行業(yè)內(nèi)性能最強(qiáng)運(yùn)用最廣泛的是HBM和HBM2內(nèi)存技術(shù)，而這次的HBM-PIM則是在HBM芯片上集成了AI處理器的功能。PIM直接在存儲(chǔ)芯片上集成了計(jì)算功能，而不是CPU、內(nèi)存數(shù)據(jù)分離，這一突破促使了三星首發(fā)的HBM-PIM技術(shù)實(shí)現(xiàn)了2倍的性能，同時(shí)功耗還降低了70%。

  在2022年技術(shù)發(fā)布會(huì)上發(fā)布的內(nèi)存技術(shù)發(fā)展路線圖中，三星展示了涵蓋不同領(lǐng)域的內(nèi)存接口演進(jìn)的速度。在云端高性能服務(wù)器領(lǐng)域，HBM已經(jīng)成為了高端GPU的標(biāo)配，這也是三星在重點(diǎn)投資的領(lǐng)域之一。HBM的特點(diǎn)是使用高級(jí)封裝技術(shù)，使用多層堆疊實(shí)現(xiàn)超高IO接口寬度，同時(shí)配合較高速的接口傳輸速率，從而實(shí)現(xiàn)高能效比的超高帶寬。

  在三星發(fā)布的路線圖中，2022年HBM3技術(shù)已經(jīng)量產(chǎn)，其單芯片接口寬度可達(dá)1024bit，接口傳輸速率可達(dá)6.4Gbps，相比上一代提升1.8倍，從而實(shí)現(xiàn)單芯片接口帶寬819GB/s，如果使用6層堆疊可以實(shí)現(xiàn)4.8TB/s的總帶寬。

  2024年預(yù)計(jì)將實(shí)現(xiàn)接口速度高達(dá)7.2Gbps的HBM3p，從而將數(shù)據(jù)傳輸率相比這一代進(jìn)一步提升10%，從而將堆疊的總帶寬提升到5TB/s以上。另外，這里的計(jì)算還沒有考慮到高級(jí)封裝技術(shù)帶來的高多層堆疊和內(nèi)存寬度提升，預(yù)計(jì)2024年HBM3p單芯片和堆疊芯片都將實(shí)現(xiàn)更多的總帶寬提升。而這也將會(huì)成為人工智能應(yīng)用的重要推動(dòng)力，預(yù)計(jì)在2025年之后的新一代云端旗艦GPU中看到HBM3p的使用，從而進(jìn)一步加強(qiáng)云端人工智能的算力。

  海士力(SKhynix)公司副總裁、HBM產(chǎn)品負(fù)責(zé)人兼DRAM設(shè)計(jì)主管Cheol Kyu Park Hyun表示：“作為全球領(lǐng)先的半導(dǎo)體制造商，海士力不斷投資開發(fā)包括HBM3 DRAM在內(nèi)的下一代內(nèi)存技術(shù)，以滿足AI和圖形應(yīng)用工作負(fù)載的指數(shù)式增長(zhǎng)所帶來的需求。與新思科技建立長(zhǎng)期合作關(guān)系，有助于我們?yōu)楣餐蛻籼峁┙?jīng)過全面測(cè)試和可互操作的HBM3解決方案，以提高內(nèi)存性能、容量和吞吐量?！?/span>

SK海力士在新一代高帶寬內(nèi)存(HBM，High Bandwidth Memory)市場(chǎng)上，正展開乘勝追擊。其秘訣正是得益于MR-MUF(Mass Reflow Molded Underfill)技術(shù)。通過自主研發(fā)的這項(xiàng)技術(shù)，SK海力士不僅擊敗了競(jìng)爭(zhēng)對(duì)手美光半導(dǎo)體(Micron)，還擊敗了DRAM市場(chǎng)排名第一的三星電子，主導(dǎo)了處于起步階段的HBM內(nèi)存市場(chǎng)。曾位居DRAM萬年老二的SK海力士在最前沿的內(nèi)存市場(chǎng)技術(shù)上領(lǐng)先競(jìng)爭(zhēng)對(duì)手，另業(yè)界矚目。

  ChatGPT推動(dòng)

  ChatGPT等新興AI產(chǎn)品對(duì)高性能存儲(chǔ)芯片的需求與日俱增。據(jù)韓國(guó)經(jīng)濟(jì)日?qǐng)?bào)報(bào)道，受惠于ChatGPT，三星、SK海力士高帶寬內(nèi)存(high bandwidth memory，HBM)接單量大增。

  與 HBM 相關(guān)的上下游企業(yè)也在紛紛發(fā)力，以期搶占先機(jī)。AMD 在 HBM 的誕生與發(fā)展過程中功不可沒。最早是 AMD 意識(shí)到 DDR 的局限性并產(chǎn)生開發(fā)堆疊內(nèi)存的想法，其后與 SK 海力士聯(lián)手研發(fā)了 HBM，并在其 Fury 顯卡采用全球首款 HBM。據(jù) ISSCC 2023 國(guó)際固態(tài)電路大會(huì)上的 消息，AMD 考慮在 Instinct 系列加速卡已經(jīng)整合封裝 HBM 高帶寬內(nèi)存的基礎(chǔ)上，在后者之上繼 續(xù)堆疊 DRAM 內(nèi)存，在一些關(guān)鍵算法內(nèi)核可以直接在整合內(nèi)存內(nèi)執(zhí)行，而不必在 CPU 和獨(dú)立內(nèi) 存之間往復(fù)進(jìn)行通信傳輸，從而提升 AI 處理的性能，并降低功耗。

  英偉達(dá)同樣重視處理器與內(nèi)存間的協(xié)同，一直在要求 SK 海力士提供最新的 HBM3 內(nèi)存芯片。據(jù)悉，目前已經(jīng)有超過 2.5 萬塊英偉達(dá)計(jì)算卡加入到了深度學(xué)習(xí)的訓(xùn)練中。如果所有的互聯(lián)網(wǎng)企 業(yè)都在搜索引擎中加入 ChatGPT 這樣的機(jī)器人，那么計(jì)算卡以及相應(yīng)的服務(wù)器的需求量將達(dá)到 50 萬塊，也將連同帶動(dòng) HBM 的需求量大幅增長(zhǎng)。

  IP廠商亦已先行布局HBM 3。去年，Synopsys推出首個(gè)完整的HBM3 IP解決方案，包括用于2.5D多芯片封裝系統(tǒng)的控制器、PHY(物理層芯片)和驗(yàn)證IP。HBM 3 PHYIP基于5nm制程打造，每個(gè)引腳的速率可達(dá)7200Mbps，內(nèi)存帶寬最高可提升至921GB/s。Rambus也推出支持HBM3的內(nèi)存接口子系統(tǒng)，內(nèi)含完全集成的PHY和數(shù)字控制器，數(shù)據(jù)傳輸速率達(dá)8.4Gbps，可提供超過1TB/s的帶寬。