當(dāng)ChatGPT引發(fā)中美科技行業(yè)狂熱之后，它的締造者美國(guó)OpenAI公司如今又在人工智能(AI)可解釋性研究領(lǐng)域獲得重大突破。
鈦媒體App 5月10日消息，OpenAI今晨發(fā)布一個(gè)關(guān)于GPT-4語(yǔ)言模型解析神經(jīng)元的對(duì)齊性研究成果，利用自研基于GPT-4技術(shù)的開(kāi)源工具，來(lái)嘗試計(jì)算其他架構(gòu)、更簡(jiǎn)單語(yǔ)言模型上神經(jīng)元的行為并對(duì)其進(jìn)行評(píng)分，而且可以將其應(yīng)用于另一種語(yǔ)言模型中的神經(jīng)元——本次選擇4年前發(fā)布、包含307200個(gè)神經(jīng)元的大模型GPT-2為實(shí)驗(yàn)樣本，公開(kāi)了這些GPT-2神經(jīng)元解釋和分?jǐn)?shù)的數(shù)據(jù)集。
“我們的目標(biāo)是使用 Al 來(lái)幫助我們理解 Al”，OpenAI 的這一研究對(duì) AI 行業(yè)意味著，利用GPT-4和機(jī)器學(xué)習(xí)技術(shù)就能定義、測(cè)量 AI 可解釋性，未來(lái)在神經(jīng)元層將會(huì)產(chǎn)生“大模型比人腦更會(huì)思考”技術(shù)趨勢(shì)。
OpenAI 聯(lián)合創(chuàng)始人 Greg Brockman則表示：我們邁出了使用 AI 進(jìn)行自動(dòng)化對(duì)齊研究的重要一步。
與此同時(shí)，OpenAI 對(duì)此依然是一如既往的謙虛，文章稱目前GPT-4生成的可解釋實(shí)驗(yàn)還不完美，當(dāng)比GPT-2更大模型時(shí)解釋表現(xiàn)效果很差。OpenAI可拓展對(duì)齊團(tuán)隊(duì)的Jeff Wu直言，本次研究中大多數(shù)解釋的得分很低，GPT-4或無(wú)法解釋實(shí)際神經(jīng)元那么多的行為，未來(lái)仍有技術(shù)改進(jìn)空間。
據(jù)悉，自去年11月底至今，人工智能(AI)聊天機(jī)器人大模型ChatGPT風(fēng)靡全球。根據(jù)Similarweb公布的最新數(shù)據(jù)，截至今年4月，ChatGPT平臺(tái)訪問(wèn)量達(dá)到17.6億次，比3月份增長(zhǎng)了12.6%，同時(shí)已達(dá)到谷歌的2%。
ChatGPT背后的大型語(yǔ)言模型(LLM)，是基于大量文本數(shù)據(jù)訓(xùn)練、包含數(shù)千億(或更多)參數(shù)的語(yǔ)言模型。在大數(shù)據(jù)時(shí)代，這類 AI 機(jī)器學(xué)習(xí)模型可以在提升產(chǎn)品銷售、輔助人類決策過(guò)程中能夠起到很大的作用，但是計(jì)算機(jī)通常不會(huì)解釋它們的預(yù)測(cè)結(jié)果，而語(yǔ)言模型想要變得更強(qiáng)大，部署更廣泛，就需要研究可解釋性(interpretability)，因?yàn)槿祟悓?duì)模型內(nèi)部工作原理的理解仍然非常有限，例如可能很難從中檢測(cè)到有偏見(jiàn)、欺騙性內(nèi)容輸出。
站在OpenAI 的角度看，大模型未來(lái)將和人腦一樣擁有“神經(jīng)元”(neurons)，這些神經(jīng)元會(huì)觀察文本中的特定規(guī)律，進(jìn)而影響到模型本身生產(chǎn)的文本。所以可解釋性就是將模型能用通俗易懂的語(yǔ)言進(jìn)行表達(dá)，把模型的預(yù)測(cè)過(guò)程轉(zhuǎn)化成具備邏輯關(guān)系的規(guī)則的能力，從而通過(guò)查看模型內(nèi)部來(lái)發(fā)現(xiàn)更多信息。
例如，如果有一個(gè)針對(duì)“漫威超級(jí)英雄”的神經(jīng)元，當(dāng)用戶向模型提問(wèn)“哪個(gè)超級(jí)英雄的能力最強(qiáng)”時(shí)，這個(gè)神經(jīng)元就會(huì)提高模型在回答中說(shuō)出漫威英雄的概率，或者是弄清楚為什么人類神經(jīng)元，可以決定進(jìn)行某些搜索引擎查詢或訪問(wèn)特定網(wǎng)站，即逐步轉(zhuǎn)化一種有數(shù)據(jù)可解釋性的“無(wú)監(jiān)督學(xué)習(xí)”模式。
OpenAI這次使用GPT-4來(lái)解決可解釋性的問(wèn)題，就是希望能夠使用自動(dòng)化的方式，讓機(jī)器提高 AI 數(shù)據(jù)準(zhǔn)確性，文章稱這是其對(duì)齊研究的第三支柱的一部分。據(jù)悉，“第三支柱”是公司2022年發(fā)布的《我們做對(duì)齊研究的方法》，具體對(duì)齊研究將由三大支柱支撐：利用人工反饋訓(xùn)練 AI;訓(xùn)練 AI 系統(tǒng)協(xié)助人類評(píng)估;訓(xùn)練 AI 系統(tǒng)進(jìn)行對(duì)齊研究。
具體到本次研究成果上，OpenAI 開(kāi)發(fā)了一套包含自動(dòng)化工具和測(cè)試方法的評(píng)估流程：
首先，研究人員讓GPT-2運(yùn)行文本序列，等待某個(gè)特定神經(jīng)元被頻繁“激活”;
然后讓 GPT-4 針對(duì)一段文本生成解釋，例如通過(guò)GPT-4接收到文本和激活情況判斷漫威是否與電影、角色和娛樂(lè)有關(guān);
隨后用 GPT-4 模擬 GPT-2 的神經(jīng)元接下來(lái)會(huì)做什么，預(yù)測(cè)行為;
最后評(píng)估打分，對(duì)比GPT-4模擬神經(jīng)元和GPT-2真實(shí)神經(jīng)元的結(jié)果的準(zhǔn)確度，在下圖這個(gè)例子中，GPT-4 的得分為0.34。
使用上述評(píng)分方法，OpenAI 開(kāi)始衡量他們的技術(shù)對(duì)網(wǎng)絡(luò)不同部分的效果，并嘗試針對(duì)目前解釋不清楚的部分改進(jìn)技術(shù)。OpenAI 表示，他們正在將GPT-4編寫的對(duì)GPT-2中的所有307,200個(gè)神經(jīng)元的解釋的數(shù)據(jù)集和可視化工具開(kāi)源，同時(shí)還提供了OpenAI API公開(kāi)可用的模型進(jìn)行解釋和評(píng)分的代碼，從而希望學(xué)術(shù)界能開(kāi)發(fā)出新的技術(shù)來(lái)提升GPT模型解釋分?jǐn)?shù)。
OpenAI還發(fā)現(xiàn)，有超過(guò) 1000 個(gè)神經(jīng)元的解釋得分至少為0.8分，這意味著GPT-4模型可以解釋大部分人類神經(jīng)元，同時(shí)目前GPT理解的概念似乎和人類不太一樣。該團(tuán)隊(duì)稱，希望隨著技術(shù)和研究方法的改進(jìn)，進(jìn)一步提高AI模型可解釋性能力：如通過(guò)迭代解釋，可以讓GPT-4想出可能的反例在根據(jù)激活情況修改解釋;使用更大的模型作出解釋;以及調(diào)整已解釋模型(explained model)結(jié)構(gòu)等，用不同的激活函數(shù)訓(xùn)練模型有助于提高解釋評(píng)分。
對(duì)于本研究局限性，OpenAI表示，目前GPT-4生成的解釋還不完美，尤其要解釋比GPT-2更大的模型時(shí)，表現(xiàn)效果很差;神經(jīng)元復(fù)雜行為無(wú)法用簡(jiǎn)短的自然語(yǔ)言描述;OpenAI 解釋了神經(jīng)元的這種行為，卻沒(méi)有試圖解釋產(chǎn)生這種行為的機(jī)制;而且整個(gè)過(guò)程算力消耗極大等。OpenAI 希望在未來(lái)的工作中可以解決上述這些問(wèn)題。
最終，OpenAI希望使用模型來(lái)形成、測(cè)試和迭代完全一般的假設(shè)，從而比肩人類大腦的想法和行為，以及將其大模型解釋為一種在部署前后檢測(cè)對(duì)齊和安全問(wèn)題的方法。然而在這之前，OpenAI還有很長(zhǎng)的路要走。
“我們希望這將開(kāi)辟一條有前途的途徑?！盝eff Wu表示，這一技術(shù)可以讓其他人可以在此基礎(chǔ)上構(gòu)建并做出貢獻(xiàn)的自動(dòng)化方案，從而解決 AI 模型可解釋性問(wèn)題，很好地解釋這些模型行為，比如 AI 如何影響人類大腦中的神經(jīng)元等。
