為了保障物聯(lián)網(wǎng)數(shù)據(jù)的充分流動和有效利用，除了通信技術(shù)本身的連接能力外，還需要打通物聯(lián)網(wǎng)各層架構(gòu)之間的壁壘，才能實現(xiàn)數(shù)據(jù)采集、傳輸、處理、分析全生命周期的管理，進而讓數(shù)據(jù)真正發(fā)揮“物聯(lián)網(wǎng)時代石油”的價值。EMQ映云科技是一家在物聯(lián)網(wǎng)數(shù)據(jù)基礎(chǔ)設(shè)施領(lǐng)域深耕多年的企業(yè)，在2021中國AIoT產(chǎn)業(yè)年會上，EMQ映云科技解決方案VP余杰霖為大家?guī)砹祟}為《EMQ：AIoT的數(shù)據(jù)基礎(chǔ)設(shè)施》的精彩演講。以下是其演講全文分享：
我今天分享的主題是《AIoT的數(shù)據(jù)基礎(chǔ)設(shè)施》，這是我在產(chǎn)業(yè)互聯(lián)網(wǎng)行業(yè)過去十年來所積累的經(jīng)驗和對行業(yè)趨勢的判斷，希望對大家有所幫助。
EMQ是一家開源物聯(lián)網(wǎng)數(shù)據(jù)基礎(chǔ)設(shè)施軟件供應(yīng)商，我們一直以開源為核心，產(chǎn)品覆蓋了消息和流處理，以及邊緣端的能力，主要目的是解決實時數(shù)據(jù)的移動、流處理和分析，希望服務(wù)產(chǎn)業(yè)的數(shù)字化、實時化、智能化轉(zhuǎn)型。
在運營商的努力下，我們現(xiàn)在面對的AIoT物聯(lián)網(wǎng)架構(gòu)基本解決了連接的問題。在端側(cè)，有很多異構(gòu)設(shè)備在實時產(chǎn)生數(shù)據(jù)，這些數(shù)據(jù)通過一個小網(wǎng)關(guān)進行初步匯聚，經(jīng)過邊緣基站接入到核心網(wǎng)絡(luò)后，再進入到云數(shù)據(jù)中心，對數(shù)據(jù)分析處理后反饋到各個端——這是目前所看到的大部分物聯(lián)網(wǎng)架構(gòu)的模型。
但是連接的問題解決了，數(shù)據(jù)與信息之間還是有很大的區(qū)別，即空有數(shù)據(jù)但不產(chǎn)生價值，物聯(lián)網(wǎng)數(shù)據(jù)并沒有真正反哺到業(yè)務(wù)層?，F(xiàn)在中國大部分AIoT企業(yè)的應(yīng)用也只是停留在數(shù)據(jù)化的階段，而非數(shù)字化、信息化。
EMQ認為，物聯(lián)網(wǎng)時代的數(shù)字化轉(zhuǎn)型有四個趨勢：
一是全面的云原生轉(zhuǎn)向，從原來的業(yè)務(wù)上云、數(shù)據(jù)上云，轉(zhuǎn)變?yōu)闊o論是應(yīng)用服務(wù)還是數(shù)據(jù)基礎(chǔ)設(shè)施應(yīng)用服務(wù)，都逐步向云原生靠攏。不論是研發(fā)、部署，還是運維、測試，云原生理念目前已深入行業(yè)內(nèi)部。
二是數(shù)據(jù)逐漸從云端下沉到邊緣端，如數(shù)據(jù)量比較高的V2X以及對于邊緣端的設(shè)備數(shù)據(jù)采集有要求的應(yīng)用，使得邊緣計算開始崛起。但邊緣計算本身并不是完美的，其可能存在碎片化的問題也帶來了云邊協(xié)同的困難。
三是分布式云的發(fā)展，很多互聯(lián)網(wǎng)平臺和AIoT應(yīng)用的開發(fā)者將原有的云原生技術(shù)向邊緣發(fā)展，把之前集中在公有云上的內(nèi)容逐漸放到了分布式云中。
四是數(shù)據(jù)的類型也在發(fā)生變化，從移動互聯(lián)網(wǎng)時代由手機產(chǎn)生的具有明顯波峰波谷的交易型數(shù)據(jù)、事務(wù)型數(shù)據(jù)，轉(zhuǎn)變成由機器產(chǎn)生的連續(xù)不斷的分析型數(shù)據(jù)。
接下來，我將詳細闡述物聯(lián)網(wǎng)全連接時代數(shù)據(jù)的范式變化。
數(shù)據(jù)生產(chǎn)主體和產(chǎn)生方式
數(shù)據(jù)產(chǎn)生主體從人類轉(zhuǎn)變?yōu)闄C器。人類行為產(chǎn)生的交易型數(shù)據(jù)可以有諸如雙十一、雙十二這種明顯的波峰波谷變化，而對于物聯(lián)網(wǎng)設(shè)備來說，往往每分鐘甚至每秒都在上報數(shù)據(jù)，沒有明顯的波峰波谷，而且這些數(shù)據(jù)具有非常明顯的時空上下文特征。
數(shù)據(jù)類型
對AIoT領(lǐng)域的數(shù)據(jù)來說，其產(chǎn)生的那一刻價值最大。例如當你使用充電樁時某一刻充電失敗了，這背后失敗的原因，對用戶來說才是價值最高的，所以需要從事務(wù)型數(shù)據(jù)轉(zhuǎn)變?yōu)榱魇綌?shù)據(jù)，以進行實時的分析處理。
數(shù)據(jù)體量
在連接的問題解決之后，數(shù)據(jù)連接量就迎來了井噴式增長。根據(jù)最新的報告，全球的物聯(lián)網(wǎng)數(shù)據(jù)未來會達到ZB級別，這意味著大部分大型的物聯(lián)網(wǎng)平臺以后面對的數(shù)據(jù)量將從原來的GB時代過渡到PB、EB時代。
數(shù)據(jù)處理
對于海量數(shù)據(jù)并發(fā)連接的需求，同時又要做到實時的流式計算，原有的大數(shù)據(jù)架構(gòu)必然要發(fā)生改變。之前是從數(shù)據(jù)的源頭把數(shù)據(jù)錄入到事先設(shè)計好的表中，在需要分析的時候從數(shù)據(jù)庫里把數(shù)據(jù)讀出來進行分析。而現(xiàn)在面對的數(shù)據(jù)很多都是半結(jié)構(gòu)化、非結(jié)構(gòu)化的，比如視頻、音頻之類的數(shù)據(jù)，對于這一類數(shù)據(jù)，往往在產(chǎn)生的那一刻不知道該怎么分析，需要有查詢的能力，才能把數(shù)據(jù)的價值發(fā)揮到最大，這就要求從原先的批處理方式過渡為流式計算，自然會產(chǎn)生新的數(shù)據(jù)庫。
綜合以上幾點，我們提出了四個原則，我們的產(chǎn)品也是基于這四個原則來設(shè)計和開發(fā)的：
第一，移動計算優(yōu)先。在半導(dǎo)體產(chǎn)業(yè)發(fā)展中我們看到了共享內(nèi)存的設(shè)計，數(shù)據(jù)在信息層面的復(fù)制成本是很低的，但在物理層面對它進行搬運和存儲的復(fù)制成本非常高，特別是在海量數(shù)據(jù)情況下。所以我們盡量把價值高的計算移動到離數(shù)據(jù)產(chǎn)生更近的地方，讓計算和數(shù)據(jù)產(chǎn)生更大的價值。
第二，數(shù)據(jù)流可復(fù)用。在任何的AIoT設(shè)備中，一個數(shù)據(jù)源都不會只對接一個系統(tǒng)，很可能因為業(yè)務(wù)的發(fā)展，需要數(shù)據(jù)能夠一次接入，多次復(fù)用。
第三，全場景可適配。面對物聯(lián)網(wǎng)設(shè)備端的系統(tǒng)，包括設(shè)備協(xié)議里需要具有的能力，任何一個適合的互聯(lián)網(wǎng)IoT架構(gòu)，都需要有一個組件來彌合碎片化協(xié)議的接入。
第四，分布式云原生。未來很多數(shù)據(jù)會從中心化的云端轉(zhuǎn)變?yōu)樵诜植际降倪吘壴七M行處理。
AIoT對數(shù)據(jù)提出最大的要求就是互操作性。之前數(shù)據(jù)存儲進去后再讀取出來的成本是很高的，原本可能有非常多的設(shè)備對應(yīng)一個應(yīng)用，如果之后增加更多的應(yīng)用，就會造成很復(fù)雜的架構(gòu)耦合，帶來的結(jié)果就是架構(gòu)不可橫向擴展。
如果有一個統(tǒng)一的數(shù)據(jù)命名空間，所有的數(shù)據(jù)在內(nèi)部互相共享，并對不同的數(shù)據(jù)模型進行隔離，讓真正的AI和IoT應(yīng)用不用關(guān)心數(shù)據(jù)的內(nèi)部路由，才是最適合IoT時代的架構(gòu)。
對于這個作為命名空間使用的統(tǒng)一數(shù)據(jù)接入層，我們提出了四個要求：
一是要能夠承受持續(xù)穩(wěn)定的海量超高并發(fā)連接，而且這個連接量是以前移動互聯(lián)網(wǎng)時代前所未見的。
二是對于一些需要防控的場景，需要保證鏈路的QoS支持，特別是OTA場景，必須能夠和端側(cè)建立可靠的數(shù)據(jù)傳輸通道以及雙向QoS支持。
三是對于大數(shù)據(jù)量，要同時滿足超低延時的有狀態(tài)流式處理與分析數(shù)據(jù)，這樣在數(shù)據(jù)產(chǎn)生的時候就能直接進行計算產(chǎn)生價值。
四是數(shù)據(jù)的可重用，需要流虛擬化，降低數(shù)據(jù)重用成本，快速的從海量的數(shù)據(jù)中找到所需數(shù)據(jù)，才能在數(shù)據(jù)平臺上發(fā)展出更多的應(yīng)用。
基于以上這些原則，我們的產(chǎn)品也在不斷地迭代。首先是解決數(shù)據(jù)在云端海量連接和移動存儲的架構(gòu)。
EMQ X是我們最早開始做的一個彈性、可靠、多協(xié)議的產(chǎn)品，前端可以接受標準的協(xié)議，內(nèi)部是一個消息路由層的規(guī)則引擎，能夠和別的開源組件或者應(yīng)用系統(tǒng)無縫集成，讓數(shù)據(jù)多次存儲快速消費，同時也可以在云原生中部署，各種架構(gòu)部署都非常友好。
HstreamDB流式數(shù)據(jù)庫，可以針對多個數(shù)據(jù)流合成一個數(shù)據(jù)的虛擬流，這個虛擬流能在上面針對分析模型產(chǎn)生實時的視圖，幫助任務(wù)決策，同時也提供插件和大數(shù)據(jù)架構(gòu)的AI應(yīng)用集成。
講AIoT的部分，不可不說到邊緣計算。因為數(shù)據(jù)在邊緣，無邊緣計算就沒有連接也沒有數(shù)據(jù)，但邊緣計算在方案交付過程中有幾個挑戰(zhàn)：
首先就是邊緣的異構(gòu)設(shè)備和協(xié)議接入問題，其次是異構(gòu)設(shè)備和碎片化帶來的邊緣數(shù)據(jù)之間缺乏互操作性的問題，即有的設(shè)備是藍牙接入，也有是2G、3G、4G接入，在邊緣端就需要有一個能支持云邊協(xié)同的組件，能自己識別到設(shè)備所處的狀態(tài)，按照現(xiàn)在的邊緣設(shè)備所處的情況進行邊緣數(shù)據(jù)自治。
對于大部分云端或者軟件開發(fā)者來說，邊緣端的硬件環(huán)境始終還是陌生的，而且這個環(huán)境對于他們來說非常掣肘，難以用原有的開發(fā)模式。在各種垂直行業(yè)里，不同的協(xié)議都有自己的一席之地，我們必須有邊緣端的接入層彌合不同的碎片化協(xié)議和設(shè)備接入。
在邊緣端，一邊是不斷上漲的設(shè)備連接量和計算需求，另外一邊是捉襟見肘的邊緣硬件的資源和成本限制。
這里結(jié)合一個背景，在云數(shù)據(jù)中心的發(fā)展趨勢里，多核處理器已經(jīng)是主流了，我們可以確信在邊緣端也能實現(xiàn)這個趨勢。未來勢必會有更多的邊緣多核處理器來支撐更高的設(shè)備連接量和計算需求。這對傳統(tǒng)的邊緣端嵌入式開發(fā)者的習慣和編程模型都提出了新的挑戰(zhàn)。
基于邊緣碎片化協(xié)議的問題，首先我們開發(fā)了工業(yè)協(xié)議網(wǎng)關(guān)軟件Neuron，來應(yīng)對工業(yè)4.0的背景下對于不同垂直行業(yè)的設(shè)備統(tǒng)一接入和協(xié)議轉(zhuǎn)換的需求。
Neuron 2.0做得非常輕量化，很容易在各個不同的硬件平臺上進行移植使用，甚至可以移植到模組上，可以解決互操作性難的問題。它還可以部署在各種各樣單核、多核的芯片架構(gòu)系統(tǒng)之上。另外我們也很好地平衡了在邊緣端對硬件多核性能的利用，以及對軟件產(chǎn)品可移植性和可多載性的保證。
對于嵌入式編程領(lǐng)域，如何高效而正確地使用多核硬件進行并行算法的實現(xiàn)，達到高性能的同時又兼顧易移植、易適配的特性，是一直以來存在的問題。而NanoMQ通過內(nèi)部改進后的NNG異步I/O很好地解決了這一點。
NanoMQ 是 EMQ 今年剛剛發(fā)布的面向 IoT&5G 邊緣計算場景的下一代輕量級高性能 MQTT 消息服務(wù)引擎，也是國內(nèi)第一款開源的邊緣輕量級MQTT Broker。NanoMQ 具備高性能的消息總線能力，彌合邊緣硬件和云端的架構(gòu)差異，連接物理世界與數(shù)字智能。賦予邊緣消息匯聚再分發(fā)能力，解決了邊緣端接入層的海量并發(fā)問題，進而為邊緣計算應(yīng)用開發(fā)提供便利。
為了解決邊緣端計算卸載和與AI系統(tǒng)對接的能力，我們推出了eKuiper，將Flink在邊緣端做了輕量化實踐。例如這里展示了一個簡單的應(yīng)用例子：前端接一個攝像頭，通過一個插件就能形成在邊緣端的數(shù)據(jù)推理。
綜上所述，EMQ映云科技在數(shù)據(jù)的連接、移動、存儲、處理和分析鏈路上提供了完善的產(chǎn)品矩陣，實現(xiàn)云邊端統(tǒng)一數(shù)據(jù)的閉環(huán)，以便在最靠近數(shù)據(jù)產(chǎn)生的地方為數(shù)據(jù)創(chuàng)造最大的價值。
我們既有邊緣端的消息數(shù)據(jù)服務(wù)Neuron與NanoMQ，以及用于流式分析的eKuiper，還在云端有支持海量連接的EMQ X，以及支持流式數(shù)據(jù)處理分析的HSreamDB。
基于這些產(chǎn)品，我們可以為行業(yè)打造一個架構(gòu)。首先在邊緣部分把它想象成一個網(wǎng)關(guān)，連接不同的工業(yè)協(xié)議，如果有邊緣端的AI應(yīng)用，可以用eKuiper進行流式處理，然后再通過邊緣的云端進行橋接，從而把數(shù)據(jù)打通，形成數(shù)據(jù)從誕生到邊緣匯聚、存儲分析全鏈路的覆蓋。
有了數(shù)據(jù)的全鏈路追蹤和覆蓋能力，就可以形成數(shù)據(jù)的閉環(huán)，將數(shù)據(jù)轉(zhuǎn)變成信息和業(yè)務(wù)的洞察能力，從而實現(xiàn)數(shù)據(jù)反哺到業(yè)務(wù)的流程。
EMQ希望通過我們自己的世界級開源軟件，為IoT行業(yè)企業(yè)數(shù)字化轉(zhuǎn)型升級提供一些幫助，真正服務(wù)于產(chǎn)業(yè)與社會。謝謝！
