近日，云知聲創(chuàng)始人梁家恩博士與智次方進(jìn)行了深度對話，本文摘取了兩位大咖對話中的部分精華內(nèi)容。
當(dāng)前，人工智能技術(shù)的發(fā)展已經(jīng)進(jìn)入了新拐點，AI技術(shù)范式正從過去的“預(yù)訓(xùn)練模型-特定任務(wù)精調(diào)”向“基礎(chǔ)模型-應(yīng)用反饋學(xué)習(xí)”變遷，這種遷移也必然創(chuàng)造更多應(yīng)用可能，各行各業(yè)也在紛紛探索AI新范式，包括通用大模型演進(jìn)和利用大模型范式解決醫(yī)療、工業(yè)、辦公等場景問題，新產(chǎn)品也已經(jīng)快速融入各行各業(yè)，不斷塑造新業(yè)態(tài)、新場景，帶來巨大的商業(yè)價值。
作為國內(nèi)頂尖的語音人工智能獨角獸企業(yè)，云知聲十年來構(gòu)建了以語音、語言和知識圖譜為核心，涵蓋感知、認(rèn)知與生成的全棧AI技術(shù)體系，并向多模態(tài)人工智能方向拓展。對于云知聲而言，已經(jīng)把ChatGPT技術(shù)升級作為公司AGI能力構(gòu)建的新起點，并優(yōu)先解決在智慧物聯(lián)和智慧醫(yī)療領(lǐng)域的應(yīng)用問題。
近期，云知聲創(chuàng)始人、董事長兼CTO梁家恩博士與智次方·物聯(lián)網(wǎng)智庫創(chuàng)始人彭昭聊了聊大模型在不同場景中的應(yīng)用。
從鑒別式AI到生成式AI的轉(zhuǎn)變
彭昭：過去十年是鑒別式AI為主流，未來十年則是生成式AI的天下，眾所周知，生成式AI對于數(shù)據(jù)、算法、算力這三個方面都提出了更高的要求，請問云知聲在這三方面都做了怎樣的準(zhǔn)備和布局?
梁家恩：生成式AI其實和過去的鑒別式AI，在核心算法框架上來說差別并沒有那么大，鑒別式AI主要研究的是數(shù)據(jù)分布，根據(jù)數(shù)據(jù)分布來區(qū)分不同的類型，而生成式AI，則是在數(shù)據(jù)分布做建模的基礎(chǔ)之上，還要去研究數(shù)據(jù)的生成結(jié)構(gòu)，特別是現(xiàn)在跟自然語言結(jié)合在一起以后，就可以用自然語言的方式去靈活控制它的生成的結(jié)果。
在人工智能領(lǐng)域，數(shù)據(jù)、算力和算法早已成為不可缺少的“三駕馬車”，對于云知聲來說，實際上我們在2012年成立時就已經(jīng)開始布局這三方面，也是把深度學(xué)習(xí)最早用到產(chǎn)業(yè)界里的公司之一。在數(shù)據(jù)方面，云知聲構(gòu)建了一個云平臺來匯集數(shù)據(jù);在算力方面，早期公司就布局了GPU集群，但規(guī)模并不算大，在2016年的時候，我們開始把GPU集群升級為Atlas大規(guī)模機器學(xué)習(xí)超算平臺，為未來同時調(diào)度上千塊GPU做大模型做了很好的準(zhǔn)備;在算法方面，現(xiàn)在語音、歌唱和虛擬人合成技術(shù)已經(jīng)比較成熟，云知聲在這方面的技術(shù)儲備也很充分，未來還需要在多模態(tài)領(lǐng)域延伸，比如圖像和視頻的生成。多模態(tài)生成目前也都是通過自然語言來銜接在一起的，需要繼續(xù)增加算力和數(shù)據(jù)，并結(jié)合應(yīng)用場景進(jìn)行拓展。
彭昭：ChatGPT背后使用的是數(shù)年前的Transformer架構(gòu)，但依然取得了驚人的效果，這在某種程度上說明AI的演進(jìn)已經(jīng)從以算法為中心逐步變?yōu)橐詳?shù)據(jù)為中心，您覺得MaaS這種模式會成為AIGC時代的主流嗎?未來還會如何演變?
梁家恩：在科技圈之外，Transformer的強大是在ChatGPT出現(xiàn)之后才被大眾才看到。其實在它剛剛出現(xiàn)之后，GPT就已經(jīng)用到了Transformer架構(gòu)，雖然幾個月之后就被Google推出的BERT模型打敗，但BERT本身也用到了Transformer架構(gòu)。過去，用傳統(tǒng)的方法來處理語言問題是非常困難的，因為語言是個離散符號處理問題，要做詞法分析、句法分析等任務(wù)非常麻煩，直到通過深度學(xué)習(xí)轉(zhuǎn)化為詞向量表示才有實質(zhì)性突破。有了Transformer架構(gòu)以后，利用它的自注意力(self-attention)機制，只要訓(xùn)練的數(shù)據(jù)量足夠大，就可以把序列映射問題做到足夠好。當(dāng)時，這篇論文的標(biāo)題取的也非?！皣虖垺?，叫“Attention is all you need”，意思是只要用自注意力機制就可以搞定所有問題，結(jié)果它確實在機器翻譯上取得了非常大的突破。后來，業(yè)界就用這個框架去解決很多語義理解的問題，確實都有很大的提升，這在過去是不可想象的。不過，這些都是普通用戶感覺不到的，用戶真正能夠感覺到的是模型在理解之外，生成的應(yīng)答效果如何。
而ChatGPT的回應(yīng)超出了用戶的預(yù)期，大家才覺得終于比過去看到的對話機器人的智商有了質(zhì)的突破，但其實技術(shù)在這些年里一直都有突破和進(jìn)展，只不過是現(xiàn)在的應(yīng)用形式讓大家突然感覺到進(jìn)展確實非常大。
剛才說到“以算法為中心轉(zhuǎn)向以數(shù)據(jù)為中心”的趨勢是非常明確的，因為在框架統(tǒng)一之后，模型的性能就取決于究竟給什么樣的數(shù)據(jù)去訓(xùn)練，數(shù)據(jù)就決定了模型性能的上限，數(shù)據(jù)質(zhì)量越高、規(guī)模越大，往往模型效果就越好。
未來，我認(rèn)為Maas的模式會成為大趨勢。過去，要處理相對復(fù)雜業(yè)務(wù)，都需要根據(jù)業(yè)務(wù)流程來編程解決，但現(xiàn)在就可以通過自然語言接口來處理這些任務(wù)，在這種情況下就可以用模型優(yōu)化代替流程編碼來直接解決各種問題，只需要收集這個領(lǐng)域和應(yīng)用的數(shù)據(jù)去訓(xùn)練即可，而不需要自己編程來解決，這是模型處理業(yè)務(wù)和編程處理業(yè)務(wù)方式的本質(zhì)區(qū)別。
大模型要更加注重數(shù)據(jù)安全
彭昭：如果轉(zhuǎn)變?yōu)镸aas的模式，如何判斷各種模型的好壞呢?
梁家恩：其實最終都要從結(jié)果來評判的，ChatGPT比較好的一點就在于它其實在隱藏了中間的理解問題，用戶不需要關(guān)心模型中間的“意圖理解”環(huán)節(jié)，也不需要顯式做句法分析、語義理解等動作，只要看看ChatGPT最終給用戶的反饋質(zhì)量如何就可以。就像圖靈測試一樣，只要人類無法判斷是真人還是機器在回應(yīng)，就是足夠智能。如果單獨處理“語義理解”任務(wù)，過去像BERT這種模型，要比GPT模型做得更好，因為它使用了雙向注意力機制，但BERT架構(gòu)沒法直接形成直觀的高質(zhì)量回復(fù)，所以讓非技術(shù)用戶感知到。
彭昭：如果以數(shù)據(jù)為中心的話，掌握大量數(shù)據(jù)的企業(yè)會有很強的競爭優(yōu)勢嗎?
梁家恩：不論是過去的傳統(tǒng)算法，還是現(xiàn)在的機器學(xué)習(xí)算法，數(shù)據(jù)都已經(jīng)變得非常重要，很多公司本質(zhì)上也已經(jīng)變成了數(shù)據(jù)公司。只要有很多的數(shù)據(jù)沉淀下來，模型就可以變得足夠聰明，只不過此前使用傳統(tǒng)的統(tǒng)計學(xué)習(xí)方法去挖掘這種能力，而現(xiàn)在是用深度學(xué)習(xí)和大模型的方法去挖掘，精度和能力也就越來越強。
彭昭：相比于其它行業(yè)來說，醫(yī)療領(lǐng)域?qū)Π踩囊蟾呱踔敛蝗莩鲥e，云知聲是如何在醫(yī)療行業(yè)大模型中滿足近乎嚴(yán)苛的要求，從而讓模型輸出的結(jié)果更專業(yè)、更可信的?
梁家恩：云知聲之所以把醫(yī)療作為一個主要方向，是因為醫(yī)療行業(yè)的知識密集程度非常高，如果在醫(yī)療領(lǐng)域的問題都能夠處理好，相信很多其他行業(yè)也都能搞定，這對我們來說是一個技術(shù)的制高點，所以需要攻克它。另外，醫(yī)療行業(yè)的應(yīng)用場景、應(yīng)用空間包括社會價值也都很大。
在數(shù)據(jù)安全性方面，特別是有些涉及到用戶的隱私數(shù)據(jù)，要求都是很高的，最難的就是真實的用戶治療案例，都必須經(jīng)過數(shù)據(jù)的脫敏處理。另外，在我們和醫(yī)院的合作過程中，也會把數(shù)據(jù)做相應(yīng)的加密和tokenization，即把數(shù)據(jù)符號化，只有機器能夠知道解碼后的含義。在算法方面，現(xiàn)在的聯(lián)邦學(xué)習(xí)也可以把各種特征融合后再去計算，使得不接觸初始敏感信息的情況下，還可以繼續(xù)優(yōu)化模型。
彭昭：OpenAI的CEO也在積極的做一些生態(tài)投資的布局，云知聲會不會擔(dān)心OpenAI投資醫(yī)療賽道?
梁家恩：我覺得不論是教育還是醫(yī)療，這些行業(yè)其實都事關(guān)國計民生，所以這里面中國一定要有自己獨立的解決方案，如果他愿意投資這方面的企業(yè)，在國內(nèi)來看，我相信云知聲是很好的標(biāo)的。過去我們已經(jīng)有很多行業(yè)已經(jīng)遭受到所謂卡脖子的問題，在這個領(lǐng)域我們肯定不會讓它成為一個新的卡脖子問題。
彭昭：云知聲是以語音識別技術(shù)起家的，從2012年至今積累了大量相關(guān)經(jīng)驗，早期的這些技術(shù)積累對于云知聲推出行業(yè)大模型有怎樣的幫助?
梁家恩：當(dāng)時起“云知聲”這個名字的時候，我們就不僅僅停留在聲音領(lǐng)域了，聲音只是我們的一個切入點，我們更希望有一個云端大腦，有強大的認(rèn)知能力，能夠通過聲音的交互去解決問題。
2012年時，我們開始布局“三駕馬車”，到2016年AlphaGo開始興起的時候，我們就已經(jīng)開始布局底層的大規(guī)模計算能力，也就是Atlas超算平臺。在此之上，我們還拓展了知識圖譜和認(rèn)知技術(shù)體系，從而形成一個全棧的技術(shù)體系?，F(xiàn)在拓展到的大模型對我們來說只是一個算法框架的升級。類似過去用BERT主要是解決判別式問題的，那現(xiàn)在就把它切換成GPT的生成式框架，而BERT實際上是Transformer的編碼器部分，GPT則是Transformer的解碼器部分，算法改變對我們沒有本質(zhì)的挑戰(zhàn)，我們也已經(jīng)具備訓(xùn)練大模型的基礎(chǔ)架構(gòu)。除了算法和算力支撐，在行業(yè)問題認(rèn)知和數(shù)據(jù)積累方面，也讓我們充滿信心。包括物聯(lián)網(wǎng)和醫(yī)療領(lǐng)域，我們理解這些行業(yè)業(yè)務(wù)的核心問題，也有相關(guān)的數(shù)據(jù)積累，我們是非常有信心能把這個大模型做好的。
其實從ChatGPT的算法原理來說，早就已經(jīng)有了， OpenAI最重要的是率先把產(chǎn)品做了出來，從而形成一個工程閉環(huán)。另外，大家對OpenAI的容忍度是遠(yuǎn)遠(yuǎn)高于Google的，如果OpenAI之前犯的那些錯誤Google同樣犯的話，我估計后果是完全不一樣的，所以不能說OpenAI在技術(shù)上是一騎絕塵的，像Google內(nèi)部也有DeepMind在研究AGI，相關(guān)儲備也已經(jīng)非常充足。
在過去算法、算力和數(shù)據(jù)積累基礎(chǔ)上，對我們來說就是把過去以BERT為核心的技術(shù)架構(gòu)升級成以ChatGPT為核心的技術(shù)框架，這樣的好處就在于可以用生成式AI把理解和生成打通，性能體驗、靈活性、擴展性會強很多。
技術(shù)發(fā)展其實更符合對數(shù)曲線
彭昭：上周，OpenAI CEO表示誕生ChatGPT的研究策略已經(jīng)結(jié)束，繼續(xù)擴展模型規(guī)模帶來的收益將出現(xiàn)遞減。您覺得模型繼續(xù)向參數(shù)量變大的方向發(fā)展還會持續(xù)多久，除了拼參數(shù)外，還有哪些發(fā)展方向?
梁家恩：大家其實對于算法好像有一種不切實際的預(yù)期，覺得一個算法就能解決所有問題，但不論是過去的統(tǒng)計學(xué)習(xí)、支持向量機，還是現(xiàn)在的深度學(xué)習(xí)，事實都并非如此，每種算法都有它自身的局限性，像OpenAI就是把GPT框架的潛力挖掘到盡頭，并不是說競爭已經(jīng)結(jié)束了，而是按照他們的這種探索策略，再繼續(xù)加大投入可能已經(jīng)沒有太大收益。因此，需要尋找一些新的策略、新的方法，在這個基礎(chǔ)上去探索，而不是說這個游戲已經(jīng)結(jié)束了。
另外，單純擴大模型規(guī)模也有它的局限性，對于技術(shù)外行來說，大都希望技術(shù)進(jìn)步是一條“指數(shù)曲線”，但它其實是一條“對數(shù)曲線”，繼續(xù)擴大規(guī)模到一定程度后，進(jìn)步的幅度就會平緩很多，通過嘗試新的方法可能再做出第二個對數(shù)曲線出來。
當(dāng)然對于國內(nèi)的企業(yè)來說，和OpenAI還是有差距的，那我們首先需要先做到現(xiàn)在GPT-3.5 或者GPT-4的水平，然后再繼續(xù)往前走，我覺得后面還有持續(xù)的工作要做，畢竟純靠參數(shù)量級的擴大，哪怕是做到人腦神經(jīng)元的連接數(shù)量，也不是完全復(fù)制了一個人，還有其他的技術(shù)瓶頸需要突破。
彭昭：關(guān)于云知聲將要推出的UniGPT大模型，能否簡單透露一些信息?
梁家恩：其實去年我們看到ChatGPT出來后，就覺得這確實是一個顛覆性的工作。其實GPT-3就已經(jīng)有很多新奇特性，但當(dāng)時大家覺得它的可控性很差，可能無法駕馭好這種能力，直到ChatGPT展示出很好效果，才引起行業(yè)內(nèi)外的高度關(guān)注。深度學(xué)習(xí)到今天為止，最核心的一個問題也還是可解釋性和可控性不足。
而大模型所謂的“思維鏈”能力，可以告訴用戶推導(dǎo)的過程，從而知道中間過程里有哪些東西是錯的，優(yōu)化的時候就可以獲得提示了，而不是像過去一樣只能看見和調(diào)整參數(shù)的權(quán)重。此外，還有一個比較早期的AutoGPT研究方向，但我覺得非常有潛力，就是用大模型來把大模型用好，形成AI for AI，未來的空間也會很大。
云知聲的UniGPT，就是希望優(yōu)先提升行業(yè)應(yīng)用中的可控性和可解釋性，把大模型調(diào)教到真正能解決行業(yè)問題的程度，甚至可以自動化完成，這樣未來滲透到其他各種業(yè)務(wù)的應(yīng)用中，效率就會高很多。
彭昭：現(xiàn)在好多人紛紛創(chuàng)業(yè)做大模型，請問云知聲的大模型和其他人創(chuàng)業(yè)做的大模型相比，優(yōu)勢在哪里?
梁家恩：從技術(shù)原理角度來說，沒有任何區(qū)別，我覺得現(xiàn)在做大模型的無非是三類公司，一類就是巨頭企業(yè)，像微軟、Google、百度等，他們都在做這事，因為這對他們主營業(yè)務(wù)來說確實太具顛覆性;第二類公司是以技術(shù)為核心的，包括云知聲、科大訊飛和視覺四小龍等企業(yè)，需要和行業(yè)玩家結(jié)合去做，大家比的就是在不同的行業(yè)里誰能真正有效地解決問題，畢竟只有解決問題才能產(chǎn)生價值;第三類就是從純學(xué)術(shù)屆出來新創(chuàng)業(yè)的公司，他們的挑戰(zhàn)更大的還是在工程上以及對行業(yè)應(yīng)用的理解上面，與實際是會有比較大的鴻溝。
對于巨頭企業(yè)來說，他們肯定是優(yōu)先朝著更加通用的方向發(fā)展，守住自己的主業(yè)，再逐步進(jìn)入到垂直領(lǐng)域，但是其實我們并不懼怕任何巨頭團(tuán)隊，我們很多標(biāo)桿客戶都是這樣競爭獲得的，因為必須先要守住各自的主營業(yè)務(wù)，這才是第一要務(wù)。
