當(dāng)年Transformer的那篇驚世之作，早已人去樓(arXiv)空。就在昨天，網(wǎng)友發(fā)現(xiàn)谷歌已經(jīng)把「Attention Is All You Need」論文中的所有作者的郵箱全部「劃線(xiàn)」刪除。
論文地址：https://arxiv.org/pdf/1706.03762v6.pdf并在論文最上方，用醒目的紅色字體備注：
在注明出處的前提下，谷歌特此允許復(fù)制本文中的表格和數(shù)字，僅供新聞或?qū)W術(shù)著作使用。
從2017年到2023年，如下這張圖已經(jīng)成為歷史。
谷歌這波操作，也是很及時(shí)。前段時(shí)間，Transformer僅剩的一位作者Llion Jones宣布，7月底要離職谷歌自創(chuàng)業(yè)。
論文的更新，也是Llion Jones在昨天提交的第7版。
網(wǎng)友熱議
有網(wǎng)友驚嘆道，我以前從未見(jiàn)過(guò)論文將所有作者郵箱劃去，顯然谷歌這種做法自成一派。
我不知道這其中有多少是因?yàn)樗麄兊墓ぷ骰旧媳欢髿⒘?，而谷歌以外的?OpenAI等)卻在用它做著令人驚嘆的事情。又或者，海灣地區(qū)的每家風(fēng)險(xiǎn)投資公司都會(huì)拿著大筆錢(qián)，投資他們想做的任何事情。LinkedIn上的Ashish和Niki似乎在2022年12月創(chuàng)立了初創(chuàng)公司。我想知道那最終會(huì)是什么。
有網(wǎng)友回答道，可能是兩者的結(jié)合。谷歌主要發(fā)明了生成性人工智能熱潮背后的基礎(chǔ)技術(shù)(除了A100)，然后拒絕將其中任何一項(xiàng)作為產(chǎn)品實(shí)施。他們聲稱(chēng)要注重安全——我發(fā)現(xiàn)他們更有可能不想擾亂搜索業(yè)務(wù)，并認(rèn)為這項(xiàng)技術(shù)需要更長(zhǎng)時(shí)間才能成熟。谷歌遇到了創(chuàng)新的困境。
還有網(wǎng)友給Transformer八子，做了一個(gè)總結(jié)。
新硅谷「八叛徒」
那么，其他七子現(xiàn)又身處何處呢?Jakob Uszkoreit被公認(rèn)是Transformer架構(gòu)的主要貢獻(xiàn)者。
他在2021年中離開(kāi)了Google，并共同創(chuàng)立了Inceptive Labs，致力于使用神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)mRNA。
到目前為止，他們已經(jīng)籌集了2000萬(wàn)美元，并且團(tuán)隊(duì)規(guī)模也超過(guò)了20人。
Ashish Vaswani在2021年底離開(kāi)谷歌，創(chuàng)立了AdeptAILabs。
可以說(shuō)，AdeptAILabs正處在高速發(fā)展的階段。目前，公司不僅已經(jīng)籌集了4.15億美元，而且也估值超過(guò)了10億美元。此外，團(tuán)隊(duì)規(guī)模也剛剛超過(guò)了40人。
然而，Ashish卻在幾個(gè)月前離開(kāi)了Adept。
在Transformers論文中，Niki Parmar是唯一的女性作者。
她在2021年底離開(kāi)Google，并和剛剛提到的Ashish Vaswani一起，創(chuàng)立了AdeptAILabs。不過(guò)，Niki在幾個(gè)月前也離開(kāi)了Adept。
Noam Shazeer在Google工作了20年后，于2021年底離開(kāi)了Google。
隨后，他便立刻與自己的朋友Dan Abitbol一起，創(chuàng)立了Character AI。
雖然公司只有大約20名員工，但效率卻相當(dāng)之高。目前，他們已經(jīng)籌集了近2億美元，并即將躋身獨(dú)角獸的行列。
Aidan Gomez在2019年9月離開(kāi)了Google Brain，創(chuàng)立了CohereAI。
經(jīng)過(guò)3年的穩(wěn)定發(fā)展后，公司依然正在擴(kuò)大規(guī)?！狢ohere的員工數(shù)量最近超過(guò)了180名。與此同時(shí)，公司籌集到的資金也即將突破4億美元大關(guān)。
Lukasz Kaiser是TensorFlow的共同作者人之一，他在2021年中離開(kāi)了Google，加入了OpenAI。
Illia Polosukhin在2017年2月離開(kāi)了Google，于2017年6月創(chuàng)立了NEAR Protocol。
目前，NEAR估值約為20億美元。與此同時(shí)，公司已經(jīng)籌集了約3.75億美元，并進(jìn)行了大量的二次融資。
Llion Jones在2023年8月離開(kāi)了Google，并于同月加入初創(chuàng)公司Stealth Startup，任AI研究科學(xué)家。
參考資料：
https://arxiv.org/pdf/1706.03762v6.pdf
