隨著圖形渲染技術和傳感器的發(fā)展，我們在日常生活中接觸到的分辨率已經(jīng)從過去的720p、1080p提升至了4K、8K。然而這之前的圖像、視頻依然停留在原有的分辨率上，且對于圖形性能不夠的硬件來說，要渲染出4K以上的分辨率依然吃力，于是超分辨率技術就此應運而生。
超分辨率技術的不同技術路線
現(xiàn)有的超分辨率技術分為幾種，比如基于插值的超分辨率技術、基于重構的超分辨率技術和基于深度學習的超分辨率技術等等。插值的方法主要基于圖像插值技術，也就是圖像縮放技術，利用已知的像素來插值計算出未知像素的值，最后利用常規(guī)的圖像技術進行一定修復等等。這是最快捷的一種方法，但質(zhì)量上就不好說了，鋸齒和邊緣處理不到位，可以說與理想的超分辨率相差甚遠。
而深度學習的方法已經(jīng)在機器視覺領域獲得了良好的應用，所以基于該方法的超分辨率技術可謂成果頗豐，且重構效果遠優(yōu)于傳統(tǒng)的方法。通過卷積神經(jīng)網(wǎng)絡獲得的高分辨率圖像，不僅紋理細節(jié)更加清晰，也在信噪比上達到了優(yōu)秀的表現(xiàn)。
GPU廠商主推的超分辨率技術
由于超分辨率技術可以顯著減少游戲場景中的圖形壓力，顯著提高游戲幀率，目前應用最廣的仍是GPU廠商。最先推出類似技術的是英偉達，其DLSS技術于2019年推出，只不過當時的1.0版本可謂一塌糊涂，甚至不如簡單的圖像插值技術。
DLSS 2.1與2.3版本的對比 / 英偉達
2020年推出的2.0版本中，英偉達用上了自家GPU中的專用AI處理單元Tensor Core，并用到了時間抗鋸齒升采樣技術，而且新的AI不需要針對每個游戲進行訓練也能集成這一技術。而且作為一項基于深度學習的技術，DLSS一直在不斷完善，目前處于2.3版本的DLSS對運動拖影和粒子效果的渲染又有了極大的改善。正是在龐大的運算和訓練下，DLSS無可厚非地成了當前效果最好的游戲超分辨率技術，但也將這一技術限制在了英偉達自家的GPU平臺上。
FSR在四種模式下的表現(xiàn) / AMD
AMD為了與老黃相抗衡，也推出了對應的超分辨率技術FSR，與DLSS技術相比，F(xiàn)SR涉及到的計算工作就要少一大截了，畢竟不需要額外的計算單元。FSR作為一種后處理算法，主要還是利用空間算法對當前畫面幀進行升級和增強，而無需任何的深度學習。雖然如此一來游戲的幀數(shù)有了顯著提高，但在圖形質(zhì)量上仍然會看見不少模糊之處，尤其是在動態(tài)場景中，運動偽影的現(xiàn)象比較嚴重。但好在FSR技術無需特定的硬件，所以即便是競爭對手的GPU，也能充分利用這一技術。
據(jù)傳，AMD即將在不久后的GDC上發(fā)布全新的FSR 2.0技術，這次AMD也效仿了英偉達，用上時間數(shù)據(jù)來進行升采樣，更讓人驚喜的是，即便如此，該技術依然無需任何獨立機器學習硬件，這意味著FSR 2.0有很大幾率成為DLSS的合格競爭對手。
物聯(lián)網(wǎng)能不能搭上超分辨率技術這班車？
其實這兩家即便在技術路線上有所差異，但標榜的都是提高游戲的幀數(shù)和圖形質(zhì)量，然而目前如此高效的超分辨率技術只能用于游戲上嗎？反觀一些物聯(lián)網(wǎng)，尤其是工業(yè)物聯(lián)網(wǎng)的應用，同樣需要對較低分辨率的圖片視頻進行處理。低分辨率在一定程度上限制了信息傳輸?shù)臏蚀_性，從而降低了傳輸效率。比如醫(yī)學影像中，高分辨率的圖像可以更準確地對疾病進行判斷。但是以上三家所用到的超分辨率技術出于各種原因，目前還是只能用作游戲優(yōu)化技術。
首先是因為實現(xiàn)方式的不同，在游戲里支持這樣的超分辨率技術，其實是靠和圖形渲染引擎的集成來實現(xiàn)的，而不是簡單地對圖像或視頻進行處理。所以除非是用到了Unity或Unreal之類的圖形引擎，比如工業(yè)場景中興起的數(shù)字孿生系統(tǒng)等，是無法充分利用到這些技術的。
其次，這些技術對于硬件的算力同樣存在一定的要求，這里提到的算力不只是圖形算力，還有AI算力，如果是英偉達的DLSS技術的話，還需要特定的硬件才能實現(xiàn)。而目前物聯(lián)網(wǎng)場景中的邊緣設備往往沒有很高的算力。即便在開始推行邊緣AI的情況下，最多也只是對圖像和視頻做一些簡單的處理，比如準確識別智能水表上的刻度等等。
這也不是說目前物聯(lián)網(wǎng)沒辦法享受這樣的超分辨率技術，但稍微可行的方案可能還是需要在云端實現(xiàn)。比如智能監(jiān)控攝像頭拍攝的視頻，在存儲至云端的同時，也可以同時進行AI超分辨率重建。
不過這種方案目前應該很難普及，一是考慮到這類云服務器的部署成本偏高，如果只是單通道傳輸還算好，而工業(yè)物聯(lián)網(wǎng)場景中往往是數(shù)十條1080p視頻流同時傳輸。二是到不少物聯(lián)網(wǎng)應用講究的依然是實時數(shù)據(jù)傳輸。就拿將智能監(jiān)控攝像頭作為寵物攝像頭來說，這其中的需求就是實時觀察寵物動向，而不是等待AI重構完后回傳的視頻。
好在邊緣AI、深度學習模型已經(jīng)在物聯(lián)網(wǎng)領域喚起了關注，專注于傳感器、MCU等硬件的廠商，都開始或多或少加入一定的AI/ML計算性能。未來邊緣AI算力提升，超分辨率深度學習模型開銷變小的前提下，物聯(lián)網(wǎng)可以真正享受到超分辨率技術帶來的好處。
