百度大模型加速市場化。
6月6日，百度在成都舉辦了文心大模型技術(shù)交流會，會上，百度智能云推出“Comate”代碼助手，并正式開放邀測。
從介紹中可以看到，代碼助手“Comate”可以實現(xiàn)代碼的快速補齊、自然語言推薦代碼、自動查找代碼錯誤，全面提升開發(fā)者研發(fā)效率。之后，開發(fā)者可以通過插件等形式，在主流開發(fā)軟件中使用“Comate”代碼助手。
同時在活動現(xiàn)場，百度智能云也公布了大模型業(yè)務(wù)的新進(jìn)展。
文心一言方面，3月開始內(nèi)測兩個月以來，百度文心一言的推理性能已經(jīng)提升10倍;基于文心千帆大模型平臺提供的完備的工具鏈，文心一言的高性能模式“文心一言-Turbo”推理服務(wù)性能已經(jīng)提升了50倍，目前企業(yè)可以在文心千帆大模型平臺上申請測試“文心一言-Turbo/ErnieBot- Turbo” 高性能模式。
此外，文心千帆也在數(shù)據(jù)導(dǎo)入/任務(wù)標(biāo)注、Prompt管理器、強化學(xué)習(xí)機制、大模型插件產(chǎn)線、大模型評估、大模型壓縮等等能力上進(jìn)行了持續(xù)升級，同時還能支持更多第三方大模型。
1.推出大模型時代的代碼助手Comate
具體來看，“Comate”代碼助手可以實現(xiàn)編碼、回看、測試等全流程的輔助編碼。比如，在編寫程序時，可實現(xiàn)代碼智能搜索、推薦、自動補全;也可查找代碼錯誤;同時，在測試階段，也可基于代碼直接生成單元測試腳本，實現(xiàn)代碼驗證。
與國外的開發(fā)工具相比，“Comate”基于文心大模型在中文理解上的獨特優(yōu)勢，可以理解代碼中的中文注釋，并通過上下文觸發(fā)、語義觸發(fā)等能力，完成相應(yīng)指令，更匹配中國開發(fā)者的習(xí)慣。
據(jù)了解，Comate的研發(fā)最早可以追溯到2021年，當(dāng)時百度云在基于文心大模型進(jìn)行代碼輔助工具的研究，2022年4月，Comate進(jìn)行了內(nèi)測，2022年9月代碼輔助工具開始在百度內(nèi)部開發(fā)中全面應(yīng)用。
“Comate”代碼助手背后是高質(zhì)量Github代碼庫以及百度內(nèi)部代碼的積累。目前，“Comate”覆蓋了30余種編程語言，包含 C/C++、Python、Java等多個主流語言。此外，“Comate”支持程序員最常使用的主流IDE，開發(fā)者可以通過插件等形式，在不同軟件中使用“Comate”?！癈omate”可確保推理單次請求300ms左右。
現(xiàn)場，百度智能云AI平臺副總經(jīng)理施恩還使用“Comate”進(jìn)行了實時演示，并生成了“貪吃蛇”小游戲。演示中可以看到，“Comate”自動聯(lián)系上下文理解指令，補全代碼，并在多條推薦代碼之間切換，選擇合適代碼，直接生成了可運行的“貪吃蛇”小游戲。
百度智能云對Comate的產(chǎn)品規(guī)劃是：
第一階段主要實現(xiàn)輔助代碼撰寫，目前開發(fā)者已經(jīng)可以通過自然語言的方式寫代碼;
第二階段，“Comate”將在特定領(lǐng)域、場景的自然語言代碼生成;
第三階段將實現(xiàn)全領(lǐng)域的自然語言開發(fā)。
百度智能云AI平臺副總經(jīng)理李景秋告訴「甲子光年」，從整體落地效果來看，目前百度內(nèi)部，Comate的采納率達(dá)到30%-50%，最高有50%的代碼由Comate生成。她也提到，這大大增加了工程師的編碼質(zhì)量和效率，“以百度的工程師為例，原本更高級別的T6工程師開發(fā)的代碼，現(xiàn)在T5、T4的工程師也可以開發(fā)出來?！?/p>
2.百度千帆大模型再升級
文心千帆大模型平臺是一站式企業(yè)級大模型平臺，能夠提供包括文心一言在內(nèi)的大模型服務(wù)，提供開發(fā)AI應(yīng)用的各種工具鏈及整套環(huán)境，還支持各類第三方的開源和閉源的大模型。
此次，文心千帆也進(jìn)行了最新升級，推出了文心一言的高性能模式——ErnieBot-turbo，并在數(shù)據(jù)標(biāo)注、調(diào)優(yōu)、插件市場和服務(wù)部署方向進(jìn)行全面迭代：
借助ErnieBot-turbo大模型，一方面可以批量生成標(biāo)注數(shù)據(jù)，大大降低數(shù)據(jù)標(biāo)注成本;另一方面在一些高頻、核心場景，其推理服務(wù)的整體性總共提升了50倍。
大模型調(diào)優(yōu)方面，ErnieBot-turbo大模型支持SFT訓(xùn)練;同時針對不同場景和效果提供多種訓(xùn)練方式。
插件市場方面也有了新的動作，百度透露，文心千帆將開放插件協(xié)議，能夠讓第三方企業(yè)基于插件協(xié)議共享插件。比如能源企業(yè)，就可以通過插件的方式，給他提供檢索增強的樣板，把內(nèi)部的數(shù)據(jù)完全接入，同時實現(xiàn)更好的大模型效果。
服務(wù)部署的升級上，百度宣布在整體服務(wù)部署上可以支持ERNIE Bot、ERNIE Bot-Turbo、Bloom等大模型服務(wù)，支持對模型進(jìn)行評估、壓縮及部署，且還能支持基于應(yīng)用的QPS分流。
Prompt工程方面，百度千帆目前升級提供一部分預(yù)制的Prompt模板，支持Prompt模板的增刪改查，支持參數(shù)插值的調(diào)用模板，支持通過服務(wù)接口形式調(diào)用Prompt模板，用于獲得更好的推理效果。
未來，基于文心千帆不斷的升級，百度也將把大模型商業(yè)化落地真正落地到不同場景。目前，面向企業(yè)市場，文心千帆有公有云服務(wù)和私有化部署兩種落地模式。
其中，公有云提供推理、微調(diào)、托管三種服務(wù)模式面向不同開發(fā)能力和不同需求的企業(yè)和開發(fā)者。比如，通用大模型或者微調(diào)出來的行業(yè)大模型，都可以直接托管在百度智能云的云端。
私有化部署支持軟件授權(quán)、軟硬一體、租賃服務(wù)三種交付模式。
軟件授權(quán)指的就是，百度智能云將打包的AI軟件系統(tǒng)授權(quán)給客戶，由客戶自行搭建部署在本地的數(shù)據(jù)中心或私有云環(huán)境中，百度負(fù)責(zé)軟件的安裝調(diào)試、培訓(xùn)與維護(hù)支持等;企業(yè)自己需要具備AI運維能力，并承擔(dān)相應(yīng)的服務(wù)器成本。
軟硬一體模式交付成本和價格最高，指的是百度智能云提供包括AI軟件系統(tǒng)授權(quán)、配置AI服務(wù)器集群、存儲系統(tǒng)交付等整體解決方案的部署、調(diào)試和日常的技術(shù)支持與維護(hù)。租賃模式相對價格沒那么高，指的是百度智能云提供機器和平臺的租賃，訓(xùn)練完客戶的數(shù)據(jù)，百度將自己的設(shè)備回收。
百度智能云AI平臺副總經(jīng)理施恩告訴「甲子光年」，目前，軟件授權(quán)和軟硬一體是百度智能云優(yōu)先推進(jìn)的模式，也是市場主流的模式，同時對百度而言這兩種交付模式也更標(biāo)準(zhǔn)化。
大模型將進(jìn)一步拉動AI公有云市場的增長，接下來，百度智能云也有機會借此進(jìn)一步乘勢追擊，進(jìn)一步收窄與頭部云廠商的差距。
