國(guó)內(nèi)性能最強(qiáng)的大模型計(jì)算集群，來了！
4月14日，騰訊云正式發(fā)布面向大模型訓(xùn)練的新一代HCC（High-Performance Computing Cluster）高性能計(jì)算集群。該集群采用最新一代騰訊云星星海自研服務(wù)器，搭載了NVIDIA H800 Tensor Core GPU，并提供業(yè)界目前最高的3.2T超高互聯(lián)帶寬。
實(shí)測(cè)結(jié)果顯示，騰訊云新一代集群的算力性能較前代提升高達(dá)3倍。
去年10月，騰訊完成首個(gè)萬億參數(shù)的AI大模型——混元NLP大模型訓(xùn)練。在同等數(shù)據(jù)集下，將訓(xùn)練時(shí)間由50天縮短到11天。如果基于新一代集群，訓(xùn)練時(shí)間將進(jìn)一步縮短至4天。
大模型進(jìn)入萬億參數(shù)時(shí)代，對(duì)算力的需求陡增。在單體服務(wù)器計(jì)算能力有限的情況下，需要將上千臺(tái)服務(wù)器相連，打造大規(guī)模、分布式的高性能計(jì)算集群。騰訊云新一代集群通過對(duì)單機(jī)算力、網(wǎng)絡(luò)架構(gòu)和存儲(chǔ)性能進(jìn)行協(xié)同優(yōu)化，能夠?yàn)榇竽Ｐ陀?xùn)練提供高性能、高帶寬、低延遲的智算能力支撐。
計(jì)算層面，服務(wù)器的單機(jī)性能是集群算力的基礎(chǔ)。在非稀疏規(guī)格情況下，新一代集群?jiǎn)蜧PU卡支持輸出最高 495 TFlops（TF32）、989 TFlops （FP16/BF16）、1979 TFlops（FP8）的算力。針對(duì)大模型訓(xùn)練場(chǎng)景，騰訊云星星海服務(wù)器采用6U超高密度設(shè)計(jì)，相較行業(yè)可支持的上架密度提高30%；利用并行計(jì)算理念，通過CPU和GPU節(jié)點(diǎn)的一體化設(shè)計(jì)，將單點(diǎn)算力性能提升至最強(qiáng)。
網(wǎng)絡(luò)層面，計(jì)算節(jié)點(diǎn)間存在海量的數(shù)據(jù)交互需求，隨著集群規(guī)模擴(kuò)大，通信性能會(huì)直接影響訓(xùn)練效率。騰訊自研的星脈網(wǎng)絡(luò)，為新一代集群帶來了業(yè)界最高的3.2T的超高通信帶寬。節(jié)點(diǎn)內(nèi)外統(tǒng)一的AllReduce通信帶寬，實(shí)現(xiàn)網(wǎng)絡(luò)和算力的最大協(xié)同。實(shí)測(cè)結(jié)果顯示，搭載同樣的GPU，最新的3.2T星脈網(wǎng)絡(luò)相較1.6T網(wǎng)絡(luò)，能讓集群整體算力提升20%。
基于多軌道聚合的無阻塞網(wǎng)絡(luò)架構(gòu)、主動(dòng)擁塞控制和定制加速通信庫，騰訊云能提供業(yè)界領(lǐng)先的集群構(gòu)建能力，支持單集群高達(dá)十萬卡級(jí)別的組網(wǎng)規(guī)模。在超大集群場(chǎng)景下，仍然能保持優(yōu)秀的通信開銷比和吞吐性能，滿足大模型訓(xùn)練以及推理業(yè)務(wù)的橫向擴(kuò)展。
同時(shí)，騰訊自研高性能集合通信庫TCCL，基于星脈網(wǎng)絡(luò)硬件平臺(tái)深度優(yōu)化，在全局路徑規(guī)劃、拓?fù)涓兄H和性調(diào)度、網(wǎng)絡(luò)故障實(shí)時(shí)告警/自愈等方面融入了定制設(shè)計(jì)的解決方案。相對(duì)業(yè)界開源集合通信庫，為大模型訓(xùn)練優(yōu)化40%負(fù)載性能，消除多個(gè)網(wǎng)絡(luò)原因?qū)е掠?xùn)練中斷問題。
存儲(chǔ)層面，訓(xùn)練場(chǎng)景下，幾千臺(tái)計(jì)算節(jié)點(diǎn)會(huì)同時(shí)讀取一批數(shù)據(jù)集，需要盡可能縮短數(shù)據(jù)集的加載時(shí)長(zhǎng)。新一代集群，引入了騰訊云最新自研存儲(chǔ)架構(gòu)，支持不同場(chǎng)景下對(duì)存儲(chǔ)的需求。
COS+GooseFS對(duì)象存儲(chǔ)方案，提供多層緩存加速，大幅提升端到端的數(shù)據(jù)讀取性能；將公開數(shù)據(jù)集、訓(xùn)練數(shù)據(jù)、模型結(jié)果統(tǒng)一存儲(chǔ)到對(duì)象存儲(chǔ)COS中，實(shí)現(xiàn)數(shù)據(jù)統(tǒng)一存儲(chǔ)和高效流轉(zhuǎn)。同時(shí)，GooseFS按需將熱數(shù)據(jù)緩存到GPU內(nèi)存和本地盤中，利用數(shù)據(jù)本地性提供高性能訪問。
CFS Turbo高性能并行文件存儲(chǔ)方案，采取多級(jí)緩存加速，基于全分布式架構(gòu)，提供100GB/s帶寬、1000萬IOPS的極致性能。并通過持久化客戶端緩存技術(shù)，將裸金屬服務(wù)器本地NVMe SSD和Turbo文件系統(tǒng)構(gòu)成統(tǒng)一命名空間，實(shí)現(xiàn)微秒級(jí)延時(shí)，解決大模型場(chǎng)景大數(shù)據(jù)量、高帶寬、低延時(shí)的訴求。同時(shí)，通過智能分層技術(shù)，自動(dòng)對(duì)冷熱數(shù)據(jù)分層，節(jié)省80%的存儲(chǔ)成本，提供極致的性價(jià)比。
底層架構(gòu)之上，針對(duì)大模型訓(xùn)練場(chǎng)景，新一代集群集成了騰訊云自研的TACO Train訓(xùn)練加速引擎，對(duì)網(wǎng)絡(luò)協(xié)議、通信策略、AI框架、模型編譯進(jìn)行大量系統(tǒng)級(jí)優(yōu)化，大幅節(jié)約訓(xùn)練調(diào)優(yōu)和算力成本。
騰訊混元大模型背后的訓(xùn)練框架AngelPTM，也已通過騰訊云對(duì)外提供服務(wù)，幫助企業(yè)加速大模型落地。目前，騰訊混元AI大模型已經(jīng)覆蓋了自然語言處理、計(jì)算機(jī)視覺、多模態(tài)等基礎(chǔ)模型和眾多行業(yè)、領(lǐng)域模型。
在騰訊云上，企業(yè)基于TI 平臺(tái)的大模型能力和工具箱，可結(jié)合產(chǎn)業(yè)場(chǎng)景數(shù)據(jù)進(jìn)行精調(diào)訓(xùn)練，提升生產(chǎn)效率，快速創(chuàng)建和部署 AI 應(yīng)用。
此前，騰訊多款自研芯片已經(jīng)量產(chǎn)。其中，用于AI推理的紫霄芯片、用于視頻轉(zhuǎn)碼的滄海芯片已在騰訊內(nèi)部交付使用，性能指標(biāo)和綜合性價(jià)比顯著優(yōu)于業(yè)界。其中，紫霄采用自研存算架構(gòu)，增加片上內(nèi)存容量并使用更先進(jìn)的內(nèi)存技術(shù)，消除訪存能力不足制約芯片性能的問題，同時(shí)內(nèi)置集成騰訊自研加速模塊，減少與CPU握手等待時(shí)間。目前，紫霄已經(jīng)在騰訊頭部業(yè)務(wù)規(guī)模部署，提供高達(dá)3倍的計(jì)算加速性能，和超過45%的整體成本節(jié)省。
目前，騰訊云的分布式云原生調(diào)度總規(guī)模超過1.5億核，并提供16 EFLOPS（每秒1600億億次浮點(diǎn)運(yùn)算）的智算算力。未來，新一代集群不僅能服務(wù)于大模型訓(xùn)練，還將在自動(dòng)駕駛、科學(xué)計(jì)算、自然語言處理等場(chǎng)景中充分應(yīng)用。
以新一代集群為標(biāo)志，基于自研芯片、星星海自研服務(wù)器和分布式云操作系統(tǒng)遨馳，騰訊云正通過軟硬一體的方式，打造面向AIGC的高性能智算網(wǎng)絡(luò)，持續(xù)加速全社會(huì)云上創(chuàng)新。
