AI 創(chuàng)業(yè)公司 MosaicML 近日發(fā)布了其語言模型 MPT-30B，該模型具有 300 億參數(shù)，訓(xùn)練成本“僅有其他同類競品模型的零頭”，有望促進行業(yè)逐步降低此類模型訓(xùn)練成本，擴大 AI 模型在更廣泛領(lǐng)域的運用。
▲ 圖源 MosaicML
MosaicML 公司的首席執(zhí)行官兼聯(lián)合創(chuàng)始人 Naveen Rao 表示，MPT-30B 的訓(xùn)練成本為 70 萬美元(約 502.44 萬元人民幣)，遠低于 GPT-3 等同類產(chǎn)品所需的數(shù)千萬美元訓(xùn)練成本。此外，由于 MPT-30B 的成本較低，體積較小，它也可以更快速地被訓(xùn)練，并且更適合部署在本地硬件上。
據(jù)悉，MosaicML 使用了 Alibi 和 FlashAttention 技術(shù)來優(yōu)化模型，可以實現(xiàn)更長的文本長度和對 GPU 計算的更高利用率。MosaicML 也是少數(shù)幾個能夠使用 Nvidia H100 GPU 的實驗室，相比以往成果，當下每塊 GPU 的吞吐量增加了 2.4 倍以上，可帶來更快的完成時間。
除了讓 AI 技術(shù)更容易獲得之外，MosaicML 還專注于提高數(shù)據(jù)質(zhì)量并提高模型性能。他們目前正在開發(fā)一款工具，可以幫助用戶在預(yù)訓(xùn)練過程中分層加入特定領(lǐng)域的數(shù)據(jù)，以確保訓(xùn)練中開業(yè)實現(xiàn)多樣化和高質(zhì)量的數(shù)據(jù)組合。
MosaicML 公司表示，將模型擴展到 300 億參數(shù)只是第一步，接下來他們將以降低成本為前提，推出體積更大、質(zhì)量更高的模型。
目前開發(fā)者可以從 Hugging Face 下載并使用開源的 MPT-30B 基礎(chǔ)模型，開發(fā)者還可以在本地硬件上使用自己的數(shù)據(jù)，對模型進行微調(diào)。
