英特爾公布 AI 大模型 Aurora genAI，具備 1 萬(wàn)億參數(shù)
wccftech 報(bào)道，英特爾近日公布了旗下生成式 AI 大模型 Aurora genAI。
據(jù)悉，Aurora genAI 參數(shù)量高達(dá) 1 萬(wàn)億，其開(kāi)發(fā)依賴(lài)于 Megatron 和 DeepSpeed 框架，這些結(jié)構(gòu)增強(qiáng)了模型的強(qiáng)度和容量。而 ChatGPT 模型參數(shù)量是 1750 億，這也意味著，Aurora genAI 的參數(shù)量是ChatGPT 的近 6 倍。
據(jù)悉，Aurora genAI 模型是英特爾是與阿貢國(guó)家實(shí)驗(yàn)室和 HPE 合作開(kāi)發(fā)的，它是一個(gè)純粹以科學(xué)為中心的生成式 AI 模型，將被用于各類(lèi)科學(xué)應(yīng)用，包括分子和材料設(shè)計(jì)、乃至涵蓋數(shù)百萬(wàn)來(lái)源的綜合知識(shí)素材，據(jù)此為系統(tǒng)生物學(xué)、高分子化學(xué)、能源材料、氣候科學(xué)和宇宙學(xué)等提供值得探索的實(shí)驗(yàn)設(shè)計(jì)思路。這些模型還將用于加速癌癥及其他疾病的相關(guān)生物過(guò)程的識(shí)別速度，并為藥物設(shè)計(jì)提供靶點(diǎn)建議。
除了科研之外，Aurora genAI 還具有在自然語(yǔ)言處理、機(jī)器翻譯、圖像識(shí)別、語(yǔ)音識(shí)別、金融建模等商業(yè)領(lǐng)域的應(yīng)用潛力。
阿貢實(shí)驗(yàn)室副主任 Rick Stevens 介紹稱(chēng)，“這個(gè)項(xiàng)目希望充分利用 Aurora 超級(jí)計(jì)算機(jī)的全部潛力，為能源部各實(shí)驗(yàn)室的下游科學(xué)研究和其他跨機(jī)構(gòu)合作計(jì)劃提供資源?！?/p>
根據(jù)介紹，Aurora genAI 模型將由生物學(xué)、化學(xué)、材料科學(xué)、物理學(xué)、醫(yī)學(xué)等學(xué)科的常規(guī)文本、代碼、科學(xué)文本和結(jié)構(gòu)化數(shù)據(jù)訓(xùn)練而成。阿貢實(shí)驗(yàn)室正帶頭組織國(guó)際合作以推進(jìn)該項(xiàng)目，參與方包括英特爾、HPE、能源部各下轄實(shí)驗(yàn)室、美國(guó)及其他國(guó)際性高校、非營(yíng)利組織，以及 RIKEN 等國(guó)際合作伙伴。
Aurora genAI 模型將運(yùn)行在英特爾為阿拉貢國(guó)家實(shí)驗(yàn)室開(kāi)發(fā)的 Aurora 超算上，其性能達(dá)到了 200 億億次，是當(dāng)前 TOP500 超算冠軍 Frontier 的 2 倍。近日，英特爾和阿貢國(guó)家實(shí)驗(yàn)室還公布了 Aurora 的安裝進(jìn)度、系統(tǒng)規(guī)格和早期性能測(cè)試結(jié)果：
英特爾已完成 Aurora 超級(jí)計(jì)算機(jī) 1 萬(wàn)多塊刀片服務(wù)器的交付。
Aurora 的完整系統(tǒng)采用 HPE Cray EX 超算架構(gòu)，將擁有 63744 個(gè) GPU 和 21248 個(gè) CPU，輔以 1024 個(gè) DAOS 存儲(chǔ)節(jié)點(diǎn)。Aurora 還將配備 HPE Slingshot 高性能以太網(wǎng)絡(luò)。
早期性能結(jié)果顯示，Aurora 超算系統(tǒng)在實(shí)際科學(xué)和工程負(fù)載上具有領(lǐng)先性能，性能表現(xiàn)比 AMD MI250 GPU 高出 2 倍，在 QMCPACK 量子力學(xué)應(yīng)用程序上的性能比 H100 提高 20%，且能夠在數(shù)百個(gè)節(jié)點(diǎn)上保持近線性的算力擴(kuò)展。作為 ChaGPT 的有力競(jìng)爭(zhēng)者，Aurora genAI 的公布預(yù)示著 AI 大模型賽道又迎來(lái)了新的重磅玩家，并極有可能在未來(lái)對(duì)各種科學(xué)領(lǐng)域產(chǎn)生重大影響。不過(guò)目前，Aurora genAI 更像是處于概念階段，英特爾的目標(biāo)是到 2024 年完成 Aurora genAI 模型的構(gòu)建。
對(duì)于英特爾的萬(wàn)億參數(shù) AI 大模型 Aurora genAI，有網(wǎng)友表示：“我不相信僅僅增加參數(shù)數(shù)量就能改進(jìn)模型，我認(rèn)為我們不應(yīng)該發(fā)布新聞稿追逐增加參數(shù)數(shù)量。我在研究中還發(fā)現(xiàn)，較大的模型通常不會(huì)表現(xiàn)得更好，但由于不負(fù)責(zé)任的營(yíng)銷(xiāo)，這變得越來(lái)越難以向非技術(shù)人員解釋。如果我們對(duì)這些營(yíng)銷(xiāo)放任不管，我們會(huì)讓很多人失望，并降低大家對(duì) AI 未來(lái)增長(zhǎng)潛力的信心——我們不想要另一個(gè) AI 寒冬。訓(xùn)練這些大型模型會(huì)產(chǎn)生巨大的環(huán)境成本，而且理解、使用和控制這些非常大的模型(即使作為研究人員)也變得更加困難。”
AI 軍備競(jìng)賽進(jìn)入“萬(wàn)億參數(shù)模型”對(duì)抗時(shí)代?
近幾年，隨著 AI 大模型賽道持續(xù)升溫，越來(lái)越多的科技巨頭加入進(jìn)來(lái)，并不斷打破參數(shù)規(guī)模記錄。
2021 年 1 月，谷歌大腦團(tuán)隊(duì)重磅推出超級(jí)語(yǔ)言模型 Switch Transformer，該模型有 1.6 萬(wàn)億個(gè)參數(shù)，是當(dāng)時(shí)規(guī)模最大的 NLP 模型。同年 6 月，智源研究院發(fā)布悟道 2.0，該系統(tǒng)參數(shù)數(shù)量已超過(guò) 1.75 萬(wàn)億，是當(dāng)時(shí)全球最大的大規(guī)模智能模型系統(tǒng)。同年 11 月，阿里達(dá)摩院發(fā)布多模態(tài)大模型 M6，其參數(shù)已從萬(wàn)億躍遷至 10 萬(wàn)億，是當(dāng)時(shí)全球最大的 AI 預(yù)訓(xùn)練模型。
有分析指出，中美 AI 軍備競(jìng)賽的核心戰(zhàn)場(chǎng)正是萬(wàn)億級(jí)預(yù)訓(xùn)練模型。打造千萬(wàn)億參數(shù)規(guī)模的預(yù)訓(xùn)練模型是人類(lèi)的一個(gè)超級(jí)工程，可能會(huì)對(duì)國(guó)家甚至人類(lèi)社會(huì)產(chǎn)生重大影響。
那么，模型參數(shù)越大就越好嗎?
鵬城實(shí)驗(yàn)室網(wǎng)絡(luò)智能部云計(jì)算所副所長(zhǎng)相洋曾在接受 InfoQ 采訪時(shí)指出：
我們最初見(jiàn)到的一些模型是幾萬(wàn)個(gè)參數(shù)，后來(lái)就到了幾億、幾十億、百億、千億，還有可能上萬(wàn)億。目前從事實(shí)來(lái)說(shuō)，的確是模型越大數(shù)據(jù)越多，且質(zhì)量越好，帶來(lái)的性能是越高的。但是我個(gè)人認(rèn)為，這個(gè)提升曲線可能會(huì)有一個(gè)瓶頸期，到了瓶頸或者平臺(tái)期的時(shí)候，它的上升速度可能就會(huì)緩慢，或者說(shuō)基本就達(dá)到穩(wěn)定了。就目前而言，可能我們還沒(méi)有到達(dá)平臺(tái)期。所以說(shuō)，“模型參數(shù)越大越好”這個(gè)說(shuō)法在一定程度上是成立的。
但是，判斷一個(gè)大模型是否優(yōu)秀，不能只看參數(shù)，還要看實(shí)際表現(xiàn)。模型得出來(lái)的任務(wù)效果好，我們就可以認(rèn)為這個(gè)模型是個(gè)好模型。參數(shù)不是問(wèn)題，當(dāng)機(jī)器無(wú)論是在存儲(chǔ)還是計(jì)算能力都足夠強(qiáng)的時(shí)候，大模型也可以變成小模型。
此外，還要考慮模型的可解釋能力，以及是否容易受噪聲的攻擊。如果該模型有一定的解釋能力，那這個(gè)模型就是一個(gè)好模型;如果該模型不易被噪聲數(shù)據(jù)或是其他因素影響的話，那這個(gè)模型也是一個(gè)好模型。
本文轉(zhuǎn)載來(lái)源：
https://www.infoq.cn/news/bx7SvZNNgOd63b2hI1yz
