NLP大模型缺席，不趕“熱點”只談應(yīng)用的華為，功夫在“山外”。
在沉寂兩年后，華為云官網(wǎng)近期上線了盤古系列AI大模型的最新消息，同時，華為云人工智能領(lǐng)域首席科學(xué)家田奇于今日在人工智能大模型技術(shù)高峰論壇上介紹了盤古系列大模型的進(jìn)展及其應(yīng)用，一時拉高了人們對這次演講的期待值。
恰是阿里云“通義千問”大模型公布的第二天，一時間業(yè)界也有“華為加入大模型之爭”的猜測。有了期待值和預(yù)期，田奇今日的演講是否滿足了觀眾的好奇心呢?我們接下來會在文章中回顧華為盤古大模型的前世今生，以及華為在將盤古大模型推向公眾視野的演講中透露了哪些進(jìn)展。
NLP大模型缺席，何時揭開面紗成謎
盤古大模型的歷史至今也才三年時間。2020年11月，盤古大模型在華為云內(nèi)部立項成功，該模型也完成了與合作伙伴、高校的合作搭建。在開始打造盤古大模型的時候，華為內(nèi)部團(tuán)隊確立了三項最關(guān)鍵的核心設(shè)計原則：一是模型要大，可以吸收海量數(shù)據(jù);二是網(wǎng)絡(luò)結(jié)構(gòu)要強，能夠真正發(fā)揮出模型的性能;三是要具有優(yōu)秀的泛化能力，可以真正落地到各行各業(yè)的工作場景。2021年4月，盤古大模型正式對外發(fā)布。
華為云官網(wǎng)更新的最新消息顯示，華為即將上線的“盤古系列AI大模型”分別為NLP 大模型、CV大模型、科學(xué)計算大模型(氣象大模型)。國盛證券近期發(fā)布的研報中表示，盤古 NLP 大模型是業(yè)界首個千億參數(shù)的中文預(yù)訓(xùn)練大模型;盤古CV大模型是業(yè)界最大 CV 大模型、首次實現(xiàn)兼顧判別與生成能力、在 ImageNet 上小樣本學(xué)習(xí)能力上處于業(yè)界第一;盤古氣象大模型則可提供秒級天氣預(yù)報，可應(yīng)用于氣象、生物醫(yī)藥等領(lǐng)域。
但在會上，田奇對于NLP大模型僅用一句話帶過其應(yīng)用進(jìn)展，他表示盤古NLP大模型目前覆蓋的智能文檔檢索、智能 ERP、小語種大模型等落地領(lǐng)域，2022年華為剛交付了一個阿拉伯語的千億參數(shù)大模型。半小時的演講聽下來像做了一套盤古大模型的面試介紹或者入職第一個月的職業(yè)規(guī)劃，讓人感覺“能摸到頭腦，但是不多”。有網(wǎng)友對沒有盤古大模型的演示表達(dá)了強烈的不滿，但既然演講中NLP大模型并非主角，那行業(yè)大模型當(dāng)場演示確實有些強人所難。也有網(wǎng)友吐槽“都是些之前老的to B的東西重新拿出來簡單介紹了一下”。
作為盤古系列大模型中最受關(guān)注的大模型，與ChatGPT等外國同類AI模型相比，盤古NLP大模型更注重針對中文語言的優(yōu)化，該模型采用了深度學(xué)習(xí)和自然語言處理技術(shù)，并使用了大量的中文語料庫進(jìn)行訓(xùn)練。在應(yīng)用方面，盤古大模型可以應(yīng)用于智能客服、機器翻譯、語音識別等多個領(lǐng)域，提供AI技術(shù)支持。
從參數(shù)與數(shù)據(jù)堆量來看，百度大模型的參數(shù)為100億，而GPT-3達(dá)到了1750億，GPT-4尚不明確。根據(jù)前段時間華為發(fā)表的論文數(shù)據(jù)判斷，華為PanGu-Σ大模型參數(shù)最多為1.085萬億，基于華為自研的MindSpore框架開發(fā)。PanGu-Σ大模型在對話方面，回答更貼近主題，也更準(zhǔn)確。在參數(shù)角度，盤古大模型可能已經(jīng)接近 GPT-3.5 的水平。
圖源：《PANGU-Σ: TOWARDS TRILLION PARAMETER LANGUAGE MODEL WITH SPARSE HETEROGENEOUS COMPUTING》
與其他廠商相比，華為的優(yōu)勢或在于擁有完整的產(chǎn)業(yè)鏈和較強的算力調(diào)配能力。據(jù)介紹，在訓(xùn)練千億參數(shù)的盤古大模型時，華為團(tuán)隊調(diào)用了超過2000塊的昇騰910，進(jìn)行了超過2個月的訓(xùn)練。
圖源：《華為AI盤古大模型研究框架》，浙商證券
瞄準(zhǔn)行業(yè)賦能，華為大模型堅定“AI for Industries”
目前，全球人工智能產(chǎn)業(yè)正處在AI工業(yè)化開發(fā)模式起步后的快速發(fā)展階段，而大模型是最有希望將AI進(jìn)行落地的方向。大模型最重要的優(yōu)勢是推動AI進(jìn)入大規(guī)?？蓮?fù)制的產(chǎn)業(yè)落地階段，僅需零樣本、小樣本的學(xué)習(xí)就可以達(dá)到很好的效果，以此大大降低AI開發(fā)成本。
華為從2020年就關(guān)注到了人工智能技術(shù)的兩大落地趨勢：
一、從小模型到大模型演進(jìn)。過去十年內(nèi)，AI算法的算力需求提升了40萬倍。大模型將成為應(yīng)對 AI 應(yīng)用碎片化的一種方式，因為存在較高的資金門檻和技術(shù)門檻，可能存在大公司收編高度定制化的小模型的現(xiàn)象，導(dǎo)致市場向大公司集中，產(chǎn)業(yè)規(guī)則和格局也可能改變。
二、AI for science，AI與傳統(tǒng)科學(xué)計算領(lǐng)域滲透融合，將會為包括傳統(tǒng)的氣象、海洋、農(nóng)業(yè)、地球科學(xué)、航空航天等領(lǐng)域貢獻(xiàn)從偏微分方程的方法拓展到 AI 方法，在這一領(lǐng)域華為云推出了氣象、藥物分子領(lǐng)域的多個行業(yè)大模型。
華為盤古大模型基于底層一站式 AI 開發(fā)平臺 ModelArts 建立了L0基礎(chǔ)大模型、L1行業(yè)大模型、L2場景模型多層服務(wù)。具體而言，基礎(chǔ)通用模型L0與行業(yè)的海量數(shù)據(jù)混合訓(xùn)練得到行業(yè)模型L1，將L1部署到產(chǎn)業(yè)下游千行百業(yè)的細(xì)分領(lǐng)域中，得到細(xì)分場景模型L2。為了降低生產(chǎn)成本，提高效率，盡快為行業(yè)賦能，華為過去幾年主要在做盤古系列與訓(xùn)練大模型。
據(jù)田奇介紹，華為云過去幾年實踐的人工智能項目已經(jīng)超過1000個，其中30%人工智能項目已經(jīng)進(jìn)入了核心生產(chǎn)系統(tǒng)，幫助客戶將盈利能力平均提升18%。他預(yù)測，人工智能行業(yè)滲透率將再度提速，在2026年對企業(yè)的滲透率將達(dá)到20%。
自華為2021年開始立項盤古大模型以來進(jìn)展不斷——2021年4月發(fā)布了盤古NLP大模型、盤古視覺大模型、盤古科學(xué)計算大模型;2021年9月，推出用于藥物研發(fā)細(xì)分場景的大模型;2022年，其與能源集團(tuán)合作發(fā)布了盤古礦山大模型、盤古氣象大模型、盤古海浪大模型、盤古金融OCR大模型。
田奇表示，2022年，華為盤古大模型主要在做 AI for Industry(AI 賦能產(chǎn)業(yè))，例如視覺大模型已經(jīng)在工業(yè)質(zhì)檢、缺陷檢測、電力巡檢等100多個場景得到驗證。華為大模型產(chǎn)業(yè)化的初衷在于開辟更多B端業(yè)務(wù)場景，正如田奇此前所說，“將工業(yè)化的一面放置在更高的優(yōu)先級上”。華為希望通過盤古大模型為煤礦、水泥、電力、金融、農(nóng)業(yè)等行業(yè)創(chuàng)造更多產(chǎn)業(yè)價值。
田奇還表示，大模型是連接技術(shù)生態(tài)和商業(yè)生態(tài)的橋梁，是未來AI生態(tài)的核心。華為云盤古大模型能夠推動人工智能開發(fā)從“作坊式”到“工業(yè)化”升級。展望未來，AI for Industries是人工智能新的爆發(fā)點。盤古大模型將解決傳統(tǒng)AI開發(fā)的難題，包括作坊式開發(fā)、樣本標(biāo)注、代價大、模型維護(hù)困難、模型泛化不足、行業(yè)人短缺等難題等。
田奇著重介紹了盤古大模型中CV大模型和的落地情況，具體如下：
CV大模型
在與能源公司合作的盤古礦山大模型中案例中，礦井現(xiàn)場是一個 40 米長的采掘機，寬度僅 2 米左右，傳統(tǒng)相機很難一下子捕捉到全部畫面，只能用圖中的九宮格視頻畫面。通過 5G+AI 全景視頻拼接綜采畫面卷，傳輸?shù)降孛妫孛婀ぷ魅藛T將來可以實現(xiàn)地面控制機器進(jìn)行采礦，實現(xiàn)礦下無人少人安全作業(yè)。
盤古礦山大模型還用在了煤礦的主運輸皮帶作業(yè)監(jiān)控。煤礦被采集下來以后，它會通過一個主運輸皮帶，從地下傳輸?shù)降厣?。按傳統(tǒng)方法是通過工人配合作業(yè)。華為提出通過視頻對作業(yè)的安全規(guī)范進(jìn)行巡檢，主運場景的異物識別精度達(dá) 98%，煤礦作業(yè)場景動作識別準(zhǔn)確率達(dá) 95%，助井下安全事故減少 90% 以上;此外大模型還能進(jìn)行軌道機車缺陷檢測，比如掉鏈、脫落、裂痕等潛在不安全因素，人工檢測成本較高，盤古大模型提供圖像質(zhì)量的自動評估、小樣本的故障定位與識別等。
科學(xué)計算大模型
華為云盤古科學(xué)計算大模型加速了人工智能在科學(xué)計算方面對于模型、算法、軟件、硬件四個方面進(jìn)行融合。該模型是全球首個精度超過傳統(tǒng)預(yù)報方式的AI模型，可以在秒級的時間內(nèi)完成全球未來全球一個小時到七天的全球天氣預(yù)報，其精度首次超過了歐洲氣象中心的數(shù)值分析方法，并且預(yù)測速度相對于傳統(tǒng)的數(shù)字分析方法提升了1萬倍以上。此外，華為云盤古藥物分子大模型縮短先導(dǎo)藥物研發(fā)周期從數(shù)年到1個月。
中國大模型競爭在所難免
關(guān)注股市的讀者朋友今年基本都會對ChatGPT概念股傾注一些關(guān)注，而此類炒作中，我們已經(jīng)見證過不少速生速死的案例。在關(guān)注此方面上市公司近期動態(tài)時，我們發(fā)現(xiàn)不少公司發(fā)出了“AIGC、大模型、人工智能相關(guān)產(chǎn)品并未對公司產(chǎn)生任何收入”的聲音。將目光從資本市場轉(zhuǎn)移到實際應(yīng)用上，AI真正在產(chǎn)業(yè)側(cè)掀起“ChatGPT式”的大變革似乎還很遙遠(yuǎn)。在C端市場的傳播度與基本聲量，是B端市場所不能及的;但B端市場能夠給予的資金底座和長線收益，也是高速變動的C端市場可望不可及的。
任何一門技術(shù)突破都需要以產(chǎn)業(yè)賦能為技術(shù)指引，對于大模型而言，如果在NLP方面喪失先機，處在追趕國外的境況，不妨直接從產(chǎn)業(yè)側(cè)出發(fā)，依托中國本身具備的龐大業(yè)態(tài)尋求突圍機會。在此方面，正如田奇所言，大小模型協(xié)同進(jìn)化將成為行業(yè)趨勢，共同推動端側(cè)化發(fā)展。
如果將ChatGPT的成功模式復(fù)用到B端，以輕量化服務(wù)降低應(yīng)用門檻一定是一條重要路徑。大模型具有良好的通用性、泛化性，能夠顯著降低人工智能應(yīng)用門檻。預(yù)訓(xùn)練大模型在海量數(shù)據(jù)的學(xué)習(xí)訓(xùn)練后具有良好的通用性和泛化性，用戶基于大模型通過零樣本、小樣本學(xué)習(xí)即可獲得領(lǐng)先的效果，同時“預(yù)訓(xùn)練+精調(diào)”等開發(fā)范式，能夠讓研發(fā)過程更加標(biāo)準(zhǔn)化，這將降低人工智能的應(yīng)用門檻，也將是AI走向工程化應(yīng)用落地的重要手段。
在過去在分散化的模型研發(fā)模式下，單一的AI應(yīng)用場景下的多個任務(wù)都需要由多個模型支撐完成，每一個模型建設(shè)都需要算法開發(fā)、數(shù)據(jù)處理、模型訓(xùn)練與調(diào)優(yōu)過程。預(yù)訓(xùn)練大模型增強了人工智能的通用性、泛化性，基于大模型通過零樣本或小樣本精調(diào),就可實現(xiàn)在多種任務(wù)上的較好效果。大模型“預(yù)訓(xùn)練+精調(diào)”等模式帶來了新的標(biāo)準(zhǔn)化AI研發(fā)范式,實現(xiàn)AI模型在更統(tǒng)一、簡單的方式下規(guī)?；a(chǎn)。
隨后，大模型負(fù)責(zé)向小模型輸出模型能力，小模型更精確地處理自己“擅長”的任務(wù)，再將應(yīng)用中的數(shù)據(jù)與結(jié)果反哺給大模型，讓大模型持續(xù)迭代更新，形成大小模型協(xié)同應(yīng)用模式，達(dá)到降低能耗、提高整體模型精度的效果。
據(jù)IDC預(yù)測，未來大模型將帶動新的產(chǎn)業(yè)和服務(wù)應(yīng)用范式，在深度學(xué)習(xí)平臺的支撐下將成為產(chǎn)業(yè)智能化基座，企業(yè)需加快建設(shè)人工智能統(tǒng)一底座，融合專家知識圖譜，打造可面向跨場景或行業(yè)服務(wù)的 “元能力引擎” 。
從近期的行業(yè)亂戰(zhàn)來看，中國企業(yè)不擅長做“有趣的技術(shù)”，但執(zhí)著于行業(yè)首創(chuàng)的“模式”。追逐浪潮在所難免，但相較于大語言模型，我國大廠在幾年前就紛紛推出行業(yè)大模型，在此方面存在一定的先行布局，此方面一定需要繼續(xù)加碼，但在大語言模型方面，中國需要幾個“輪子”目前還沒有定論，這等耗時耗力的活計，唯有留給一線的大廠來思考。
參考資料：
1.《華為盤古大模型新進(jìn)展，華為云 AI 首席科學(xué)家 7000 字演講精華》，智東西
2.《華為AI盤古大模型研究框架》，浙商證券
3.《2022中國大模型發(fā)展白皮書》，IDC
