各家廠商都有自己的 AI 芯片，但華為率先做到了從芯片到應(yīng)用，再到云服務(wù)的高度協(xié)同。
手機(jī)上的 NPU
推出了四年，時(shí)間已不算短，人工智能應(yīng)用得怎么樣了？
現(xiàn)在很多手機(jī)芯片上都有 AI
計(jì)算單元，每個(gè)人都可以有自己的答案。不過(guò)用華為手機(jī)的人，獲得的體驗(yàn)經(jīng)常比其他用戶好一點(diǎn)：他們的手機(jī)有更強(qiáng)的信號(hào)，均衡的能效比，還有融合在系統(tǒng)中，提供便利的各種
AI 功能。
華為的產(chǎn)品還支持最新 AI 算法，你也許會(huì)發(fā)現(xiàn)，同樣的 App 在華為手機(jī)上多了一些專屬的能力，如實(shí)時(shí)視頻超分辨率、視頻風(fēng)格遷移、本地化的輸入法預(yù)測(cè)等等。
今天，人工智能不是「元宇宙」這樣遙不可及的概念，而是已被每天數(shù)億人大量使用的普遍技術(shù)，它甚至改變了很多人打開(kāi) App 的方式。
這些 AI 技術(shù)的效果超出了人們的最初想象。
用低清流量，看「高清視頻」
我們對(duì)于「視頻超分辨率」的印象，大多還停留在英偉達(dá) GPU 對(duì)于游戲大作的幀率加成上。自從 RTX 系列顯卡誕生以來(lái)，深度學(xué)習(xí)超采樣技術(shù) DLSS 大幅提升了玩家的游戲體驗(yàn)。這種技術(shù)可以通過(guò)深度學(xué)習(xí)把低分辨率圖像自動(dòng)「腦補(bǔ)」成高分辨率，輸出 4K 分辨率的畫面時(shí)，只需生成 1080P 的畫面再用 AI 來(lái)轉(zhuǎn)化，可以減小顯卡負(fù)擔(dān)，提升效率。
打游戲有這么大的提升，在手機(jī)上看短視頻和直播能不能加入超清效果呢？HUAWEI HiAI Foundation 已經(jīng)讓很多應(yīng)用實(shí)現(xiàn)了這個(gè)能力。
「在超分辨率任務(wù)上，傳統(tǒng)算法需要 CPU 和 GPU 對(duì)圖像進(jìn)行二次加工計(jì)算，功耗極高，效果就像是『調(diào)亮了一點(diǎn)』，并不明顯，」華為技術(shù)專家表示?！溉粝虢鉀Q算力、IO、功耗等問(wèn)題需要結(jié)合 HUAWEI HiAI Foundation 和 NPU 來(lái)完成。我們與很多廠商合作，在當(dāng)前主流的 App 上集成了畫質(zhì)增強(qiáng)功能?！?br/>
原畫面、AI 超分辨率算法和低分辨率 + 銳化處理的對(duì)比。
今年 3 月，在愛(ài)奇藝 App 最新發(fā)布的版本中，愛(ài)奇藝與 HUAWEI HiAI Foundation 合作，在帶有 NPU
機(jī)型的應(yīng)用上率先提供了「增強(qiáng)畫質(zhì)」功能。該功能可讓視頻在 480P 分辨率播放過(guò)程中，保持相同流量消耗的情況下體驗(yàn)到更高清品質(zhì)的視覺(jué)效果。
這項(xiàng)功能適配了從 Nova 6 到 Mate 40 系列等多個(gè)華為機(jī)型。
開(kāi)啟畫質(zhì)增強(qiáng)功能后，480P 及以下清晰度的視頻可以秒變高清，大致相當(dāng)于 1080P 的水平。
「增強(qiáng)畫質(zhì)」是基于愛(ài)奇藝自研超分算法部署在麒麟芯片 NPU 引擎（神經(jīng)網(wǎng)絡(luò)處理器）和 HUAWEI HiAI Foundation 上的功能，可以在畫面輪廓清晰度、畫面通透性、色彩飽和度等方面實(shí)現(xiàn)明顯提升。
通過(guò)這一能力，手機(jī)可以在本地完成視頻實(shí)時(shí)增強(qiáng)畫質(zhì)處理，在不影響幀率的情況下把清晰度提升兩倍，有效解決了視頻播放卡頓問(wèn)題，在地鐵或高鐵等信號(hào)弱，網(wǎng)絡(luò)不流暢的場(chǎng)景下，也能看高清視頻。
在愛(ài)奇藝、優(yōu)酷等主流視頻 App 平臺(tái)上，HUAWEI HiAI Foundation 加持的超分辨率性能最高可以提升 80%，功耗最高可降低 45%。
在手機(jī)上實(shí)現(xiàn)異構(gòu)計(jì)算
除了圖像技術(shù)，手機(jī)上還能直接跑一個(gè)完整的輸入法預(yù)測(cè)模型。譬如，在百度輸入法華為版中，其使用的 AI 算法結(jié)構(gòu)復(fù)雜，但通過(guò)任務(wù)拆分，工程師們把模型推理的計(jì)算工作分配到 NPU 和 CPU 上進(jìn)行異構(gòu)計(jì)算，并進(jìn)行了極致的優(yōu)化，把輸入法預(yù)測(cè)任務(wù)從云端完全轉(zhuǎn)移到了手機(jī)上。
百度語(yǔ)音語(yǔ)義的模型技術(shù)較新，結(jié)構(gòu)也很復(fù)雜，最近的很多 AI 應(yīng)用都是如此。從最早的 CNN、LSTM，再到近期流行的 Transformer 結(jié)構(gòu)，人們對(duì) AI 專用計(jì)算單元的算力需求正在快速提高。另一方面，不同廠家硬件的差別明顯，AI 計(jì)算的架構(gòu)也在不斷演進(jìn)，如何充分利用好算力是開(kāi)發(fā)者面臨的挑戰(zhàn)。
讓芯片上的 CPU、GPU 和 NPU 協(xié)同參與 AI 計(jì)算，是目前發(fā)展的趨勢(shì)?！冈谡Z(yǔ)音語(yǔ)義類業(yè)務(wù)上如果用異構(gòu)方式運(yùn)行模型推理，其性能要比單 NPU 或單 CPU 運(yùn)行提升超過(guò) 40% 以上，很多業(yè)務(wù)適合通過(guò)異構(gòu)方法運(yùn)行，」華為技術(shù)專家表示?！窷PU 善于處理 CNN 等經(jīng)典神經(jīng)網(wǎng)絡(luò)，但業(yè)界近期獲得應(yīng)用的網(wǎng)絡(luò)類型變化較快，很多新模型使用 CPU 加 NPU 聯(lián)合計(jì)算可以獲得更高效率?！?/p>
華為提供的工具可以大幅提升 AI 算法的運(yùn)行效率，快手和抖音也因此受益：兩家短視頻應(yīng)用在接入 HUAWEI HiAI Foundation
后模型精度得以提高，通過(guò)充分利用算力實(shí)現(xiàn)了更加真實(shí)的 AI 特效，增加了業(yè)務(wù)場(chǎng)景。
對(duì)于應(yīng)用開(kāi)發(fā)者們來(lái)說(shuō)，給應(yīng)用接入異構(gòu)計(jì)算能力并不需要訓(xùn)練專用的算法，也不需要重新構(gòu)建一個(gè) App，只需調(diào)用幾個(gè)接口就可以完成了，如果開(kāi)發(fā)者使用的機(jī)器學(xué)習(xí)平臺(tái)接入了 HUAWEI HiAI Foundation，這個(gè)過(guò)程甚至可以是無(wú)感的，開(kāi)發(fā)者無(wú)需進(jìn)行操作即可獲得麒麟芯片 AI 算力的優(yōu)化。
原生 AI 加速，每天運(yùn)行超 600 億次
為開(kāi)發(fā)者打開(kāi)新世界大門的 HUAWEI HiAI Foundation 是麒麟芯片 AI 計(jì)算能力的開(kāi)放平臺(tái)，其目標(biāo)是全面開(kāi)放 NPU 能力。它可以自動(dòng)把開(kāi)發(fā)者手中的 AI 模型輕量化成移動(dòng)版，集成到 APP 上，并獲得手機(jī)芯片異構(gòu)算力的原生優(yōu)化加速。
2017 年 9 月，華為發(fā)布了首款自帶神經(jīng)網(wǎng)絡(luò)計(jì)算單元 NPU 的移動(dòng)芯片麒麟 970。2018 年 3 月，HUAWEI HiAI Foundation 隨之發(fā)布。經(jīng)過(guò)幾年發(fā)展，HUAWEI HiAI Foundation 已經(jīng)從僅支持手機(jī)擴(kuò)展到了全場(chǎng)景硬件，還可以做到一次開(kāi)發(fā)多端運(yùn)行。計(jì)算能力上看，則可以協(xié)同 NPU/CPU/GPU/DSP 實(shí)現(xiàn)異構(gòu)計(jì)算，大幅提升了效率。
在 HUAWEI HiAI Foundation 的最新版本上，新增的能力主要有三個(gè)方面：提供 AI 模型性能優(yōu)化快速升級(jí)的端云協(xié)同；開(kāi)放為開(kāi)發(fā)者提供更多可選模型結(jié)構(gòu)的 Model Zoo；還有模型量化工具包，可以快速壓縮 App 中 AI 模型的體積。
經(jīng)過(guò)多代持續(xù)打磨，HUAWEI HiAI Foundation 的兼容性和易用性已經(jīng)相當(dāng)成熟。人們熟知的鴻蒙 OS 的用戶已經(jīng)超過(guò)了 1.5
億，是史上發(fā)展最快的終端操作系統(tǒng)。而作為麒麟芯片計(jì)算能力的開(kāi)放平臺(tái)，HUAWEI HiAI Foundation 的應(yīng)用范圍也是前所未有 ，它現(xiàn)在的日調(diào)用量高達(dá)
600 億次。
相比 TensorFlow Lite GPU、Android NN 等端側(cè) AI 計(jì)算生態(tài)，HUAWEI HiAI Foundation 已經(jīng)成為了業(yè)內(nèi)最流行的 AI 架構(gòu)，而且領(lǐng)先幅度正變得越來(lái)越大。
每天百億調(diào)用量意味著海量的智慧業(yè)務(wù)正在端側(cè)應(yīng)用，充分發(fā)揮了麒麟芯片的 AI 算力，為用戶帶來(lái)了前所未有的體驗(yàn)。隨著 AI 生態(tài)的不斷演進(jìn)，技術(shù)應(yīng)用的經(jīng)驗(yàn)也會(huì)為未來(lái)的改進(jìn)打下基礎(chǔ)，助力下一代芯片的研發(fā)。
黑科技：端云協(xié)同
僅僅方便開(kāi)發(fā)，體驗(yàn)好還不夠。與高通、聯(lián)發(fā)科等公司提出的工具相比，華為的優(yōu)勢(shì)在于「端云協(xié)同」。
深度學(xué)習(xí)算法由很多計(jì)算單元組成，我們稱這些計(jì)算單元為算子（Operator，簡(jiǎn)稱 Op）。從廣義上講，對(duì)任何函數(shù)進(jìn)行某一項(xiàng)操作都可以認(rèn)為是一個(gè)算子。在深度學(xué)習(xí)框架中，算子對(duì)應(yīng)層中的計(jì)算邏輯，例如：卷積層（Convolution Layer）中的卷積算法，是一個(gè)算子；全連接層（Fully-connected Layer）中的權(quán)值求和過(guò)程也是一個(gè)算子。
對(duì)于構(gòu)建 AI 應(yīng)用來(lái)說(shuō)，算子提升了效率，然而大多數(shù)手機(jī)中的算子庫(kù)集成于系統(tǒng)中，加入新功能要等手機(jī)系統(tǒng)幾個(gè)月一次的更新，這是很多 AI
新算法難以落地的原因。
HUAWEI HiAI Foundation 選擇把算子庫(kù)放到云端，當(dāng)有新開(kāi)發(fā)的算子時(shí)，只需要對(duì)比一下舊的算子庫(kù)，把更新算子下載到手機(jī)端里就可以讓所有手機(jī)支持新技術(shù)了。這種端云協(xié)同的方式既提高了開(kāi)發(fā)者工作效率，又?jǐn)U大了應(yīng)用范圍，算子更新的頻率可以和 App 更新的速度同步。
相比之下，其他廠商發(fā)布的深度學(xué)習(xí)框架，其算子更新速度通常是以年為單位的。
作為連接底層硬件算力和應(yīng)用之間的橋梁，HUAWEI HiAI Foundation 目前支持超過(guò) 300 個(gè)通用算子，TensorFlow、PyTorch 等主流深度學(xué)習(xí)框架，國(guó)內(nèi)開(kāi)源深度學(xué)習(xí)平臺(tái)，以及很多廠商的自用框架。硬件支持從麒麟 810 到麒麟 9000——內(nèi)置華為自研 NPU 的所有芯片。
從一篇頂會(huì)論文到手機(jī)上的 App，AI 新技術(shù)的引入是一個(gè)復(fù)雜的工程化過(guò)程，需要保證性能、功能要求，進(jìn)行多輪優(yōu)化。由于海思和華為終端聯(lián)合運(yùn)作的方式，在 HUAWEI HiAI Foundation 上芯片廠商與開(kāi)發(fā)者直接進(jìn)行合作，在一些關(guān)鍵問(wèn)題上能真正做到效果最優(yōu)，這是其他競(jìng)爭(zhēng)對(duì)手無(wú)法比擬的。
把更多 AI 搬到手機(jī)上
HUAWEI HiAI Foundation 未來(lái)的發(fā)展方向，是讓移動(dòng)端 AI 模型更簡(jiǎn)單、更安全、能效更優(yōu)，構(gòu)筑全面開(kāi)放的智慧生態(tài)，讓開(kāi)發(fā)者能夠快速地利用華為強(qiáng)大的 AI 處理能力，為用戶提供更好的智慧應(yīng)用體驗(yàn)。
機(jī)器學(xué)習(xí)模型在最初的研究階段可能需要泰坦 GPU 進(jìn)行訓(xùn)練，A40 進(jìn)行推理，谷歌能讓機(jī)器學(xué)會(huì)「閱讀理解」的 BERT 模型在剛剛發(fā)布時(shí)體積達(dá)到了 500MB 但手機(jī) App 上，自然語(yǔ)言處理模型只有 50 到 100MB 的空間，模型必須被大幅壓縮。
HUAWEI HiAI Foundation 推出的 NAS 模型搜索技術(shù)，能讓開(kāi)發(fā)者只需要將自己的模型、數(shù)據(jù)集作為參數(shù)提交給工具，隨后就能通過(guò)自動(dòng)搜索獲得能在端側(cè)運(yùn)行，效果與原模型效果相當(dāng)?shù)哪Ｐ统鰜?lái)。該技術(shù)目前主要面向圖像識(shí)別、分類、檢測(cè)等任務(wù)，在指定任務(wù)中可以自動(dòng)搜索出效率最優(yōu)的模型，且搜索結(jié)果能夠?qū)崿F(xiàn)在 NPU 上性能、功耗比最優(yōu)。
另一方面，HUAWEI HiAI Foundation 提供的端側(cè)算力讓很多原先必須部署在云端的算法落在了本地，所有數(shù)據(jù)形成閉環(huán)，業(yè)務(wù)數(shù)據(jù)、照片、語(yǔ)音信息等敏感內(nèi)容不離開(kāi)用戶，保證了數(shù)據(jù)安全。越來(lái)越多的端側(cè) AI，會(huì)持續(xù)強(qiáng)化這一趨勢(shì)。
未來(lái)，各類應(yīng)用對(duì) AI 的需求會(huì)越來(lái)越擁擠，華為還在繼續(xù)努力，讓麒麟芯片帶來(lái)更大價(jià)值。
2021 年，我國(guó)網(wǎng)民人均手機(jī) App 安裝總量是 66 款，每人每天使用 App 的時(shí)長(zhǎng)已超過(guò) 5.1
小時(shí)，這是一個(gè)前所未有的數(shù)字。人工智能技術(shù)帶來(lái)的便利，是手機(jī)承擔(dān)起越來(lái)越多任務(wù)的原因之一。
還記得 2017 年，華為發(fā)布第一款帶有 NPU 的芯片麒麟 970 的時(shí)候，有很多人會(huì)問(wèn)「它能做什么？」現(xiàn)在，問(wèn)題已經(jīng)變成了「這件事，麒麟芯片能不能也來(lái)做？」
昨天人們還在開(kāi)的腦洞，已經(jīng)被 HUAWEI HiAI Foundation 一步步實(shí)現(xiàn)了。
