你知道一部智能手機(jī)有多少顆芯片嗎？
作為當(dāng)下每個(gè)人最離不開的電子設(shè)備，一部智能手機(jī)雖然只有巴掌大小，但它內(nèi)部卻至少集成了100顆以上的芯片。其中，大家最熟悉的自然還是SoC了，SoC被稱為系統(tǒng)級(jí)芯片，其集成了CPU、GPU、ISP、NPU等，因此我們可以說SoC是手機(jī)的“核心處理器”。
這么多的芯片中，NPU（神經(jīng)網(wǎng)絡(luò)處理器）的名字不像CPU和GPU那么響亮，但它扮演的卻是最聰明的角色，專門負(fù)責(zé)實(shí)現(xiàn)AI運(yùn)算和AI應(yīng)用，直接影響手機(jī)AI能力的強(qiáng)弱。NPU具備的AI能力可以顯著改變現(xiàn)有的手機(jī)功能，而影像就是一個(gè)極富應(yīng)用前景的領(lǐng)域。
在12月14日的OPPO 2021年度未來科技大會(huì)上，OPPO就發(fā)布了首個(gè)自研NPU芯片馬里亞納 MariSilicon X，這顆芯片是全球首顆為影像而生的專用NPU芯片，它的出現(xiàn)將極大提升計(jì)算攝影的能力和參與程度。其背后展示了OPPO對(duì)于“自研芯片”的決心，也透露出其未來發(fā)展的新思路。
至此，中國智能手機(jī)四大頭部廠商也均加入了自研芯片的「芯」賽道。
以自己最擅長(zhǎng)的領(lǐng)域，探索更深的「馬里亞納」
智能手機(jī)中蘊(yùn)含的芯片有很多，也表示著手機(jī)廠商在自研芯片的選擇上有非常多的方向，為何OPPO偏偏選擇了影像NPU作為其首個(gè)自研的方向呢？其背后的發(fā)展邏輯與OPPO堅(jiān)持的技術(shù)賽道密不可分。
OPPO Find X3
很長(zhǎng)一段時(shí)間里，用戶對(duì)智能手機(jī)最高的需求就是對(duì)于影像品質(zhì)的追求。對(duì)于手機(jī)品牌而言，要滿足用戶需求，就必然要在影像技術(shù)上實(shí)現(xiàn)關(guān)鍵性突破。
要想增強(qiáng)影像能力，最直接的方式就是換用尺寸更大的傳感器，但機(jī)身空間有限的智能手機(jī)注定不允許動(dòng)輒三四個(gè)碩大的影像傳感器的存在；再加之尺寸更大的傳感器需要更長(zhǎng)的物理焦距，維持等效27mm左右的主流焦距時(shí)會(huì)讓手機(jī)的厚度同步激增，這注定不是一個(gè)可持續(xù)的發(fā)展方向。
OPPO經(jīng)過過去R系列、Reno系列、Find系列數(shù)年在影像技術(shù)上的探索，發(fā)現(xiàn)想要從傳感器、鏡頭等光學(xué)方面繼續(xù)提升移動(dòng)影像素質(zhì)已經(jīng)遇到了瓶頸。只有通過影像專用NPU，才能解決目前ISP功能局限和通用算力不足、傳感器尺寸和鏡組光學(xué)素質(zhì)止步不前的難題，這也是未來影像發(fā)展的主流方向。
而且，目前來看上游供應(yīng)商提供的通用芯片以及NPU芯片都無法滿足AI對(duì)計(jì)算影像提出的算力和能效要求。因此，要兼顧高算力和低能耗，OPPO也不得不自研影像專用的NPU。
此次OPPO之所以將項(xiàng)目的名稱定為「馬里亞納」也頗為形象，其背后有兩個(gè)原因。其一，如果想要達(dá)到OPPO期待的移動(dòng)端優(yōu)質(zhì)AI影像體驗(yàn)，更加成熟的芯片生產(chǎn)制程（如12nm）已經(jīng)無法滿足，所以其首個(gè)自研芯片就直接上馬6nm制程工藝，這對(duì)于OPPO整個(gè)自研芯片團(tuán)隊(duì)都是一個(gè)極大的挑戰(zhàn)。
另一方面，「馬里亞納」的名字也是OPPO對(duì)于自研芯片挑戰(zhàn)的一個(gè)決心，同時(shí)也表達(dá)了OPPO將以自己最擅長(zhǎng)的領(lǐng)域，對(duì)手機(jī)最底層的芯片發(fā)起沖擊。
馬里亞納 MariSilicon X有何絕活
被OPPO寄予厚望的馬里亞納 MariSilicon X到底是怎樣的一款芯片呢？
首先，我們要了解馬里亞納 MariSilicon X是一款NPU芯片，而不是ISP模塊，有著后者所不具備的AI計(jì)算能力，能夠用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)影像的降噪和細(xì)節(jié)提升。它采用了AI時(shí)代的DSA新黃金架構(gòu)理念，旨在針對(duì)OPPO的AI影像需求，放棄對(duì)次要能力的兼容，而是將全部芯片面積和算力都投入影像領(lǐng)域中，也就是所謂的“專芯專用”，任務(wù)更明確，性能自然也就更強(qiáng)。目前全球前沿科技公司都在采用DSA做AI，比如Google的TPU。但是，使用DSA架構(gòu)也意味著這顆芯片的專用性，對(duì)于廠商的芯片方向規(guī)劃要求極高，需要提前預(yù)判在芯片研發(fā)到商用的幾年內(nèi)，影像風(fēng)口究竟在哪里。
其內(nèi)部架構(gòu)由“MariNeuro”自研AI計(jì)算單元、“MariLumi”自研影像處理單元、配套的影像專用內(nèi)存子系統(tǒng)和I/O組件等組成。
此外，馬里亞納 MariSilicon X制程方面直接上馬目前行業(yè)非常先進(jìn)的6nm制程工藝，由臺(tái)積電進(jìn)行代工。選擇6nm雖然可以帶來更強(qiáng)的性能表現(xiàn)，但隨之而來的高投入、高風(fēng)險(xiǎn)、高難度和高不確定性不言而喻。
據(jù)行業(yè)報(bào)道，6nm芯片1次流片費(fèi)用高達(dá)1個(gè)億，正式流片實(shí)驗(yàn)前沒人知道是否成功，一旦失敗就面臨推倒重來。好在OPPO在流片階段一次就成功了，據(jù)OPPO芯片產(chǎn)品高級(jí)總監(jiān)姜波回憶：“記得流片拿回來之后沒有絲毫耽誤，點(diǎn)亮過程中就是24小時(shí)，整個(gè)研發(fā)團(tuán)隊(duì)都非常激動(dòng)，我們完成了一個(gè)巨大的挑戰(zhàn)！”
對(duì)于用戶實(shí)際使用上的提升，馬里亞納 MariSilicon X將主要用AI技術(shù)解決傳統(tǒng)手機(jī)影像難題——弱光視頻畫質(zhì)，將計(jì)算攝影推向了4K+20bit RAW+AI+Ultra HDR的新極限。對(duì)于不懂?dāng)z影的人來說這串復(fù)雜的名詞可能難以理解，說白了就是要讓畫面擁有豐富細(xì)節(jié)（4k分辨率是主流1080p的4倍，畫面細(xì)節(jié)更豐富）、高寬容度（畫面中非常亮的部分與極暗的部分都清晰可見）、純凈畫面（通過AI計(jì)算實(shí)現(xiàn)近乎無噪點(diǎn)的夜景視頻）和無損計(jì)算（影像數(shù)據(jù)損耗小，保留更多信息和細(xì)節(jié)，對(duì)后期更友好），盡可能保證畫面的「原汁原味」。
舉個(gè)簡(jiǎn)單的例子，比如我們?cè)谝粋€(gè)昏暗的劇場(chǎng)中拍照，如果是沒有AI計(jì)算攝影，整個(gè)畫面中可能是全部黑暗，又或者只能看到微弱的色彩。而未來有了馬里亞納 MariSilicon X，OPPO可以借助其“MariLumi”影像處理單元，顯著提升HDR（高動(dòng)態(tài)范圍成像）能力表現(xiàn)，讓劇場(chǎng)中拍攝的畫面，都可以還原出人眼看到的狀態(tài)。
聽起來這個(gè)改變很簡(jiǎn)單，但其背后是非常困難的研發(fā)過程。要知道現(xiàn)在安卓旗艦平臺(tái)驍龍8也僅支持18bit HDR，OPPO這第一次自研芯片，就可以將其位寬提高到20Bit。這2Bit之間，畫面寬容度整整提升4倍（2的20次方與2的18次方對(duì)比），直接從原來的25萬:1，提升到100萬:1。
此外，馬里亞納 MariSilicon X還可以實(shí)現(xiàn)4K 30幀AI夜景。拍照比拼已難分勝負(fù)，視頻是下一個(gè)競(jìng)爭(zhēng)賽道，而視頻的實(shí)時(shí)處理特性，令其難度遠(yuǎn)大于照片的先拍后算。OPPO能同時(shí)實(shí)現(xiàn)4K+AI+HDR規(guī)格夜景視頻，已經(jīng)摸到了目前手機(jī)影像性能的天花板。
在發(fā)布之初，OPPO還公布了一段「馬里亞納 MariSilicon X原型機(jī)」、iPhone 13 Pro Max以及OPPO Find X3 Pro三臺(tái)手機(jī)在4K極限暗環(huán)境下實(shí)拍對(duì)比。從中我們可以看到，無論是亮度、色彩以及細(xì)節(jié)的還原，三者之間差距都非常明顯。
之所以能實(shí)現(xiàn)如此優(yōu)異表現(xiàn)，也離不開馬里亞納 MariSilicon X高達(dá)18TOPS@int8的計(jì)算能力，它的表現(xiàn)比搭載驍龍888的OPPO Find X3快了20倍，單從AI算力上來講，它已經(jīng)超越蘋果目前最新的A15 SoC處理器，后者AI算力約15.8TOPS。
當(dāng)然，馬里亞納 MariSilicon X 能力不止這一方面，其還擁有實(shí)時(shí)RAW計(jì)算、RGBW Pro以及雙層存儲(chǔ)等等很多的特點(diǎn)。簡(jiǎn)單理解的話，馬里亞納 MariSilicon X未來在智能手機(jī)中的應(yīng)用將獨(dú)立于SoC存在，而不是替代SoC中AI能力，最終目的是對(duì)手機(jī)影像的獨(dú)立提升，實(shí)現(xiàn)1+1＞2的結(jié)果。
雙芯或成為自研芯片超車的主流選擇
目前的手機(jī)行業(yè)中，大多采用的都是主流SoC的平臺(tái)架構(gòu)，其承載了手機(jī)運(yùn)行過程中的主要處理工作，其實(shí)它也是集成了CPU、GPU以及NPU等不同的芯片模塊，只是封裝到同一顆芯片而已。
對(duì)于手機(jī)廠商來說，在自研芯片領(lǐng)域如果直接挑戰(zhàn)SoC的研發(fā)，需要更長(zhǎng)的時(shí)間成本、人力成本以及投入成本，其背后需要極為豐富的經(jīng)驗(yàn)和試錯(cuò)過程，包括異構(gòu)設(shè)計(jì)能力、解決算法問題以及與生產(chǎn)廠商的制程工藝選擇等等一系列問題。
對(duì)于現(xiàn)在這個(gè)階段，夯實(shí)某一功能的芯片自研技術(shù)變得更加現(xiàn)實(shí)，并且從中還可以得到更多的經(jīng)驗(yàn)。通過雙芯甚至多芯協(xié)同的做法，在某一垂直優(yōu)化路線上也可以做到功能的跨越式提升，構(gòu)筑自家的技術(shù)壁壘。
OPPO已經(jīng)計(jì)劃于2022年第一季度中的下一代Find X系列旗艦級(jí)智能手機(jī)中搭載馬里亞納 MariSilicon X，這個(gè)動(dòng)作也證明了OPPO對(duì)其芯片能力的信心。
不過，我們從OPPO直接選擇NPU，而沒有選擇ISP也可以看出，OPPO已經(jīng)將芯片的異構(gòu)設(shè)計(jì)能力納入自研范圍之內(nèi)。OPPO的終極目標(biāo)是通過芯片自研開啟手機(jī)科技創(chuàng)新與影像能力躍升的新時(shí)代，此次發(fā)布的馬里亞納 MariSilicon X是OPPO檢驗(yàn)自身技術(shù)能力和實(shí)力的產(chǎn)品，也使其像華為、蘋果一樣，成為擁有自研芯片能力的科技公司。相信這顆影像專用NPU只是現(xiàn)階段的嘗試，后續(xù)還將有更多動(dòng)作尚待揭曉。
