美國(guó)企業(yè)對(duì) H100 處理器的旺盛需求，推動(dòng)英偉達(dá)市值飆升至 1 萬(wàn)億美元。
上周，英偉達(dá)股價(jià)一周內(nèi)上漲了 25%，市值直逼萬(wàn)億美元，其創(chuàng)始人黃仁勛的身價(jià)也突破了 330 億美元。
春風(fēng)得意的黃老板于 5 月 29 日現(xiàn)身在中國(guó)臺(tái)北舉辦的 COMPUTEX 大會(huì)，并在大會(huì)上發(fā)布了面向所有行業(yè)的生成式AI平臺(tái)。“我們正在重新發(fā)明計(jì)算機(jī)，加速計(jì)算和人工智能標(biāo)志著計(jì)算正在被重新定義?！秉S仁勛表示。
黃仁勛正在帶領(lǐng)英偉達(dá)從一家芯片公司轉(zhuǎn)向提供AI計(jì)算系統(tǒng)的公司，他此前稱(chēng)，人工智能的 iPhone 時(shí)刻已經(jīng)來(lái)臨。
英偉達(dá)發(fā)布超級(jí)芯片 GH200 和 AI 計(jì)算平臺(tái)
受 AI 熱潮的推動(dòng)，英偉達(dá)也在硬件領(lǐng)域緊跟技術(shù)潮流，發(fā)布了一系列產(chǎn)品和解決方案：推出大內(nèi)存生成式AI超級(jí)計(jì)算機(jī) DGX GH200，可加速生成式 AI 設(shè)計(jì)的 Grace Hopper 超級(jí)芯片 GH200 已全面投產(chǎn);推出全新加速以太網(wǎng)平臺(tái) Spectrum-X，為游戲提供定制化 AI 模型代工服務(wù);與全球最大的營(yíng)銷(xiāo)服務(wù)機(jī)構(gòu) WPP 合作打造生成式 AI 內(nèi)容引擎，多家世界頂級(jí)電子制造商采用英偉達(dá)生成式 AI 工具與 Omniverse 平臺(tái)構(gòu)建先進(jìn)的數(shù)字工廠。
據(jù)悉，NVIDIA? GH200 Grace Hopper 超級(jí)芯片將為全球各地即將上線的系統(tǒng)提供運(yùn)行復(fù)雜 AI 和 HPC 工作負(fù)載所需的動(dòng)力。在 COMPUTEX 上，黃仁勛公布了關(guān)于 GH200 Grace Hopper 超級(jí)芯片的更多細(xì)節(jié)。
NVIDIA? GH200 Grace Hopper 超級(jí)芯片使用 NVIDIA NVLink?-C2C 互連技術(shù)，將基于 Arm 的 NVIDIA Grace CPU 和 Hopper GPU 架構(gòu)互聯(lián)，實(shí)現(xiàn)了高達(dá) 900GB/s 的總帶寬，比傳統(tǒng)加速系統(tǒng)中的標(biāo)準(zhǔn) PCIe Gen5 通道高出 7 倍，算力有了很大程度的提高，并且能夠滿足要求最苛刻的生成式 AI 和 HPC 應(yīng)用。
具體來(lái)說(shuō)， GH200 超級(jí)芯片是將 72 核的 Grace CPU、H100 GPU、96GB 的 HBM3 和 512 GB 的 LPDDR5X 集成在同一個(gè)封裝中，擁有高達(dá) 2000 億個(gè)晶體管。這種組合提供了 CPU 和 GPU 之間驚人的數(shù)據(jù)帶寬，高達(dá) 900 GB/s，為某些內(nèi)存受限的工作負(fù)載提供了巨大的優(yōu)勢(shì)。
值得一提的，英偉達(dá)正式發(fā)布了一款新型大內(nèi)存 AI 超級(jí)計(jì)算機(jī)——由 NVIDIA GH200 Grace Hopper 超級(jí)芯片和 NVIDIA NVLink Switch System 驅(qū)動(dòng)的 NVIDIA DGX 超級(jí)計(jì)算機(jī)，旨在助力開(kāi)發(fā)面向生成式 AI 語(yǔ)言應(yīng)用、推薦系統(tǒng)和數(shù)據(jù)分析工作負(fù)載的巨型、下一代模型。
DGX GH200 的細(xì)節(jié)還不太清楚，但已確認(rèn)英偉達(dá)使用了一種新的 NVLink Switch 系統(tǒng)，包含 36 個(gè) NVLink 開(kāi)關(guān)，將 256 個(gè) GH200 Grace Hopper 芯片和 144TB 的共享內(nèi)存連接成一個(gè)單元，英偉達(dá) CEO 黃仁勛表示，GH200 芯片為“巨型 GPU”。英偉達(dá)表示，256 顆 Grace Hopper 超級(jí)芯片將 DGX GH200 的“AI 性能”提升到了 exaflop(一百萬(wàn)萬(wàn)億次)。
NVIDIA 加速計(jì)算副總裁 Ian Buck 表示：“生成式AI正在迅速帶來(lái)業(yè)務(wù)變革，解鎖醫(yī)療、金融、商業(yè)服務(wù)等行業(yè)的新機(jī)遇并加速這些行業(yè)的研發(fā)工作。隨著 Grace Hopper 超級(jí)芯片的全面投產(chǎn)，全球的制造商很快將會(huì)提供企業(yè)使用專(zhuān)有數(shù)據(jù)構(gòu)建和部署生成式 AI 應(yīng)用所需的加速基礎(chǔ)設(shè)施?！?/p>
ChatGPT 問(wèn)世后，芯片行業(yè)變天了
2022 年，英偉達(dá)發(fā)布了 H100——這是其有史以來(lái)最強(qiáng)大、也最昂貴的處理器之一，單位價(jià)格約為 4 萬(wàn)美元。當(dāng)時(shí)看來(lái)，這款產(chǎn)品的發(fā)布時(shí)機(jī)并不理想，企業(yè)客戶(hù)紛紛在巨大的通脹壓力下削減開(kāi)支。
但就在 11 月，ChatGPT橫空出世后，情況發(fā)生了變化。
英偉達(dá)首席執(zhí)行官黃仁勛表示，“剛剛經(jīng)歷艱難的一年，情況似乎一夜之間就出現(xiàn)了轉(zhuǎn)機(jī)?！監(jiān)penAI 打造的這款熱門(mén)聊天機(jī)器人堪稱(chēng)“尤里卡時(shí)刻”(或頓悟時(shí)刻)，“立即創(chuàng)造出巨大需求”。
ChatGPT 的迅速躥紅在全球領(lǐng)先的科技巨頭和初創(chuàng)公司之間掀起一波軍備競(jìng)賽，各方開(kāi)始競(jìng)相爭(zhēng)奪寶貴的 H100 資源。黃仁勛稱(chēng)這款產(chǎn)品是“全球首個(gè)為生成式 AI 專(zhuān)門(mén)設(shè)計(jì)的計(jì)算機(jī)芯片”，能夠幫助 AI 系統(tǒng)更快輸出順暢自然的文本、圖像和內(nèi)容。
就在過(guò)去一周，在正確的時(shí)間推出正確的產(chǎn)品再次成為決勝的關(guān)鍵。英偉達(dá)上周三宣布，其截至 7 月的本季度銷(xiāo)售額預(yù)計(jì)將達(dá) 110 億美元，較華爾街之前的估計(jì)高出 50%以上。這波強(qiáng)勁浪潮背后，無(wú)疑是眾多大型科技公司恢復(fù)數(shù)據(jù)中心支出和瘋狂采購(gòu) AI 芯片的現(xiàn)實(shí)需求。
投資人對(duì)此番預(yù)測(cè)也給出了積極回應(yīng)，僅上周四一天之內(nèi)就讓英偉達(dá)公司的市值增加了 1840 億美元。于是這家已經(jīng)是全球最有價(jià)值的芯片公司在估值方面開(kāi)始逼近萬(wàn)億大關(guān)。
這項(xiàng)技術(shù)有望重塑各行各業(yè)，帶來(lái)巨大的生產(chǎn)力提升并取代數(shù)百萬(wàn)個(gè)工作崗位。
而 H100 芯片將加快這一技術(shù)飛躍。H100 基于名為“Hopper”的英偉達(dá)全新芯片架構(gòu)，以美國(guó)編程先驅(qū) Grace Hopper 的名字命名，如今已經(jīng)是整個(gè)硅谷最炙手可熱的稀缺資源。
黃仁勛表示，“就在我們著手將 Hopper 投入量產(chǎn)之際，AI 突破到來(lái)了?！币簿褪钦f(shuō)，Hopper 剛好是在 ChatGPT 正式亮相的幾周之前開(kāi)始大規(guī)模生產(chǎn)。
黃仁勛對(duì)于持續(xù)收益的信心，很大程度來(lái)自與芯片制造巨頭臺(tái)積電的密切合作。雙方計(jì)劃擴(kuò)大 H100 的生產(chǎn)規(guī)模，以滿足微軟、亞馬遜和谷歌等云服務(wù)商，Meta 等互聯(lián)網(wǎng)大廠以及其他企業(yè)客戶(hù)的爆發(fā)式需求。
CoreWeave 是一家專(zhuān)注 AI 的云基礎(chǔ)設(shè)施初創(chuàng)公司。作為首批收到 H100 的客戶(hù)之一，公司首席戰(zhàn)略官 Brannin McBee 表示“這已經(jīng)成為地球上最稀缺的工程資源之一”。
也有部分客戶(hù)要等待半年之久，才能拿到自己用來(lái)訓(xùn)練大規(guī)模數(shù)據(jù)模型的 H100 芯片供應(yīng)。更多 AI 初創(chuàng)公司則紛紛表示擔(dān)心，稱(chēng)在需求起飛那一刻，H100 就將面臨供不應(yīng)求。
英偉達(dá)成為了 AI 浪潮中的首批贏家
馬斯克也已經(jīng)為自己的 AI 初創(chuàng)公司 X.ai 買(mǎi)下大量英偉達(dá)芯片，他本人也在本周《華爾街日?qǐng)?bào)》的活動(dòng)中表示，目前 GPU“比藥品更難獲得”，還開(kāi)玩笑說(shuō)“而且這種情況在舊金山隨處可見(jiàn)”。
“計(jì)算成本已經(jīng)飆升至天文數(shù)字，最低的準(zhǔn)入門(mén)檻也是投入 2.5 億美元為生成式 AI 系統(tǒng)構(gòu)建服務(wù)器硬件?！?/p>
事實(shí)證明，H100 特別受到微軟和亞馬遜等大型科技企業(yè)的歡迎。他們正紛紛建立以 AI 工作負(fù)載為中心的更多數(shù)據(jù)中心。此外，OpenAI、Anthropic、Stability AI 和 Inflection AI 等 AI 初創(chuàng)公司也在密切關(guān)注 H100 的性能承諾，希望借助它的力量加快產(chǎn)品發(fā)布、降低訓(xùn)練成本。
英偉達(dá)超大規(guī)模與高性能計(jì)算業(yè)務(wù)負(fù)責(zé)人 Ian Buck 表示，“從購(gòu)買(mǎi)難度來(lái)講，沒(méi)錯(cuò)，新架構(gòu) GPU 就是不容易買(mǎi)到?！奔缲?fù)增加 H100 以滿足需求這項(xiàng)艱巨任務(wù)的 Buck 承認(rèn)，“目前供不應(yīng)求已經(jīng)成為規(guī)模性事件”，部分大客戶(hù)正瘋狂采購(gòu)數(shù)以萬(wàn)計(jì)的 GPU。
這種性能極強(qiáng)的芯片負(fù)責(zé)充當(dāng)數(shù)據(jù)中心的“加速器”，其搭載的 800 億個(gè)晶體管達(dá)到最新款 iPhone 處理器晶體管數(shù)的 5 倍。盡管 H100 的售價(jià)高達(dá) 2020 年發(fā)售的上代 A100 芯片的 2 倍，但早期買(mǎi)家紛紛表示其性能至少提高了 3 倍，所以仍然極具性?xún)r(jià)比。
作為 Stable Diffusion 圖像生成服務(wù)背后的廠商，Stability AI 聯(lián)合創(chuàng)始人兼 CEO Emad Mostaque 表示“H100 解決了長(zhǎng)期困擾 AI 模型創(chuàng)建者的可擴(kuò)展性問(wèn)題”?！斑@非常重要，它能讓我們更快訓(xùn)練出更大的模型，真正將研究問(wèn)題轉(zhuǎn)化為工程問(wèn)題?！?/p>
雖然 H100 的發(fā)布可謂正當(dāng)其時(shí)，但英偉達(dá)在 AI 領(lǐng)域的突破實(shí)際源自近 20 年前的軟件創(chuàng)新。
英偉達(dá)的 Cuda 軟件誕生于 2006 年，作用就是讓 GPU 在圖形之外作為其他工作負(fù)載類(lèi)型的加速器。待時(shí)間來(lái)到 2012 年左右，“AI 終于找上了我們?！?/p>
加拿大的研究人員們很快意識(shí)到 GPU 非常適合用于創(chuàng)建神經(jīng)網(wǎng)絡(luò)，這是一種由人腦內(nèi)神經(jīng)元間相互作用啟發(fā)而來(lái)的 AI 形式，后來(lái)成為 AI 開(kāi)發(fā)的新焦點(diǎn)。Buck 感慨道，“我們花了近 20 年才最終走到了今天?！?/p>
英偉達(dá)如今擁有的軟件工程師比硬件工程師還多，這也使其得以支持后續(xù)幾年出現(xiàn)的多種不同類(lèi)型的 AI 框架，也使其芯片在訓(xùn)練 AI 模型所需要的統(tǒng)計(jì)計(jì)算方面愈發(fā)高效。
Hopper 是首個(gè)針對(duì) transformers 進(jìn)行優(yōu)化的架構(gòu)，而 transformers 則是支持 OpenAI 聊天機(jī)器人明星的底層 AI 方法。通過(guò)與 AI 研究人員的密切合作，英偉達(dá)在 2017 年就注意到了 transformers 的出現(xiàn)，并開(kāi)始相應(yīng)調(diào)整自己的軟件。
AI 初創(chuàng)企業(yè)投資方 Air Street Capital 的普通合伙人 Nathan Benaich 指出，“英偉達(dá)可以說(shuō)比其他人更早看到了未來(lái)，并將重點(diǎn)放在了 GPU 可編程方面。在發(fā)現(xiàn)機(jī)遇并押下賭注之后，英偉達(dá)獲得了持續(xù)領(lǐng)先于競(jìng)爭(zhēng)對(duì)手的優(yōu)勢(shì)?！?/p>
Benaich 估計(jì)，英偉達(dá)比其他競(jìng)爭(zhēng)對(duì)手要領(lǐng)先約兩年。但他也補(bǔ)充稱(chēng)，“英偉達(dá)硬件和軟件方面的市場(chǎng)地位恐怕還達(dá)不到堅(jiān)不可摧的水平?！?/p>
Stability AI 的 Mostaque 對(duì)此表示贊同?！肮雀?、英特爾和其他公司打造的下一代芯片正在迎頭趕上。而且隨著軟件標(biāo)準(zhǔn)化的普及，就連 Cuda 也不足以構(gòu)成可靠的技術(shù)護(hù)城河?！?/p>
但對(duì) AI 領(lǐng)先的另一些從業(yè)者來(lái)說(shuō)，華爾街本周的熱情似乎有點(diǎn)過(guò)度樂(lè)觀。不過(guò)芯片咨詢(xún)公司 D2D Advisory 創(chuàng)始人 Jay Goldberg 仍然承認(rèn)，“從目前的情況看，AI 半導(dǎo)體市場(chǎng)仍然保持著英偉達(dá)贏家通吃的局面。”
參考鏈接：
https://www.ft.com/content/315d804a-6ce1-4fb7-a86a-1fa222b77266
本文轉(zhuǎn)載來(lái)源：
https://www.infoq.cn/article/e95bPU2tu1o9eGQqmQvP
