計算機和計算系統(tǒng)幾乎影響了現(xiàn)代生活的方方面面。例如，計算機通常涉及工作、娛樂、醫(yī)療保健、交通和娛樂，而甚至家庭和商業(yè)經(jīng)營現(xiàn)在都可以利用計算機，比如說借助物聯(lián)網(wǎng)（IOT）設(shè)備。
事實上，物聯(lián)網(wǎng)設(shè)備正變得越來越普遍，據(jù)估全球有數(shù)十億臺。隨著物聯(lián)網(wǎng)設(shè)備的廣泛普及，跟蹤和監(jiān)控所述物聯(lián)網(wǎng)設(shè)備在環(huán)境中的位置變得越來越必要，但同時越來越困難。例如，眾多物聯(lián)網(wǎng)設(shè)備易于攜帶，可以相對輕松地從一個位置移動到另一個位置，而由于其便攜性，一般很難跟蹤和監(jiān)控物聯(lián)網(wǎng)設(shè)備的位置，以及它們監(jiān)控的條件或狀態(tài)或狀態(tài)。所以，存在改善物聯(lián)網(wǎng)設(shè)備“重新定位”的實質(zhì)性需求
在早前一份名為“Dynamically changing a fiducial marker for iot device identification”的專利申請中，微軟就介紹了一種支持MR頭顯來有效識別和定位物聯(lián)網(wǎng)設(shè)備的方法。日前，美國專利商標局又公布了一份類似與MR頭顯+IOT設(shè)備相關(guān)的發(fā)明。
延伸閱讀：微軟專利分享如何用HoloLens 2識別物聯(lián)網(wǎng)設(shè)備，構(gòu)建AR/VR與AIoT的連接
“Mapping sensor data using a mixed-reality cloud”主要描述了一種用于重新定位物聯(lián)網(wǎng)設(shè)備的改進技術(shù)。
在一個實施例中，接收以數(shù)字方式表示由物聯(lián)網(wǎng)（IOT）設(shè)備監(jiān)控的一個或多個條件的傳感器數(shù)據(jù)。作為響應(yīng)，訪問傳感器讀數(shù)映射，其中所述映射與物聯(lián)網(wǎng)設(shè)備相關(guān)聯(lián)。映射同時以數(shù)字方式表示物聯(lián)網(wǎng)設(shè)備的環(huán)境，并且包括表示物聯(lián)網(wǎng)設(shè)備在環(huán)境中的位置的數(shù)據(jù)。映射同時包括表示由物聯(lián)網(wǎng)設(shè)備監(jiān)控的條件的數(shù)據(jù)。另外，通過將傳感器數(shù)據(jù)附加到映射來更新映射。
在一個實施例中，頭戴式設(shè)備接收由物聯(lián)網(wǎng)設(shè)備生成的傳感器數(shù)據(jù)。所述數(shù)據(jù)描述/表示物聯(lián)網(wǎng)設(shè)備在環(huán)境中運行時監(jiān)控的特定條件。頭顯訪問環(huán)境的數(shù)字表示，并將傳感器數(shù)據(jù)與數(shù)字表示相關(guān)聯(lián)。傳感器數(shù)據(jù)用于環(huán)境中的特定區(qū)域。將傳感器數(shù)據(jù)與數(shù)字表示關(guān)聯(lián)的過程包括將傳感器數(shù)據(jù)與對應(yīng)于特定區(qū)域的數(shù)字表示的一部分關(guān)聯(lián)或鏈接。然后，頭顯呈現(xiàn)虛擬圖像，以可視化傳感器數(shù)據(jù)。頭顯配置為在可穿戴顯示器顯示復雜的虛擬圖像，并且進一步配置為響應(yīng)于任何數(shù)量或類型的非預期外部刺激來更新虛擬圖像。
在一個實施例中，服務(wù)器計算機系統(tǒng)重新定位物聯(lián)網(wǎng)設(shè)備，并且更新物聯(lián)網(wǎng)設(shè)備的操作覆蓋區(qū)域的映射，以響應(yīng)物聯(lián)網(wǎng)設(shè)備的位置變化。所以，服務(wù)器計算機系統(tǒng)接收描述環(huán)境中的物聯(lián)網(wǎng)設(shè)備的第一位置的傳感器數(shù)據(jù)。服務(wù)器確定物聯(lián)網(wǎng)設(shè)備沒有改變位置，并主動避免更新記錄物聯(lián)網(wǎng)設(shè)備的操作覆蓋區(qū)域的覆蓋映射。隨后，服務(wù)器接收：描述或數(shù)字表示物聯(lián)網(wǎng)設(shè)備的第二位置；或至少指示物聯(lián)網(wǎng)設(shè)備可能已移動的新傳感器數(shù)據(jù)。服務(wù)器將新傳感器數(shù)據(jù)與覆蓋映射進行比較，以確定物聯(lián)網(wǎng)設(shè)備已更改位置。服務(wù)器更新覆蓋映射以反映新的第二位置，并確定物聯(lián)網(wǎng)設(shè)備相對于第二位置的新操作覆蓋區(qū)域。服務(wù)器更新覆蓋映射，以反映新的覆蓋區(qū)域。
請注意圖3A和3B。圖3A示出了用于從物聯(lián)網(wǎng)設(shè)備收集傳感器數(shù)據(jù)，并使用傳感器數(shù)據(jù)更新與物聯(lián)網(wǎng)設(shè)備相關(guān)聯(lián)的傳感器讀數(shù)映射的示例方法300。方法300A可以由服務(wù)器執(zhí)行，尤其可以由在服務(wù)器操作的MR服務(wù)執(zhí)行。
首先，方法300包括從在環(huán)境中運行的物聯(lián)網(wǎng)（IOT）設(shè)備動作300A：接收描述由物聯(lián)網(wǎng)設(shè)備監(jiān)控的一個或多個條件的傳感器數(shù)據(jù)。傳感器數(shù)據(jù)可以包括來自物聯(lián)網(wǎng)設(shè)備的傳感器的測量數(shù)據(jù)、來自物聯(lián)網(wǎng)設(shè)備的攝像頭的圖像數(shù)據(jù)，以及來自物聯(lián)網(wǎng)設(shè)備的IMU的IMU數(shù)據(jù)。
響應(yīng)于接收傳感器數(shù)據(jù)，方法300包括訪問與IOT設(shè)備相關(guān)聯(lián)的傳感器讀數(shù)映射的動作300B。這里，傳感器讀數(shù)映射出環(huán)境，或者更確切地說是數(shù)字表示環(huán)境，并包括代表物聯(lián)網(wǎng)設(shè)備在環(huán)境中的位置的信息。另外，傳感器讀數(shù)映射記錄，或者說包括指示或代表由物聯(lián)網(wǎng)設(shè)備監(jiān)測的條件的數(shù)據(jù)。
然后，方法300包括通過將傳感器數(shù)據(jù)附加、鏈接或以其他方式關(guān)聯(lián)到傳感器讀數(shù)映射來更新傳感器讀數(shù)映射的動作300C。通過這種方式，傳感器讀數(shù)映射能夠跟蹤和監(jiān)控物聯(lián)網(wǎng)設(shè)備捕獲的傳感器數(shù)據(jù)。作為更新傳感器讀數(shù)映射以包括傳感器數(shù)據(jù)的結(jié)果，傳感器讀數(shù)映射更新以包括由物聯(lián)網(wǎng)設(shè)備生成的測量數(shù)據(jù)。另外，作為操作的結(jié)果，服務(wù)器計算機系統(tǒng)包括關(guān)于物聯(lián)網(wǎng)設(shè)備的感測操作條件的更新信息，例如物聯(lián)網(wǎng)設(shè)備感測的當前溫度、當前輻射水平、當前狀態(tài)或狀態(tài)等。
圖4示出了傳感器讀數(shù)映射400的示例，如結(jié)合方法300所述。傳感器讀數(shù)映射400描繪了物聯(lián)網(wǎng)設(shè)備當前所在環(huán)境的可視化。具體而言，物聯(lián)網(wǎng)設(shè)備位于具有地板布局405的家庭（或建筑物）內(nèi)，并且傳感器讀數(shù)映射400可以提供地板布局405的視覺描述，即映射的顯示向用戶呈現(xiàn)地板布局的可視化。
在這種情況下，樓層布局405包括多個房間，例如房間A、B、C、D、E、F、G、H、I、J和K。在這里，物聯(lián)網(wǎng)設(shè)備是一個溫度傳感器，目前位于樓層布局405的房間A中。因此，IOT設(shè)備正在測量、檢測或以其他方式觀察房間A的溫度條件、狀態(tài)或參數(shù)。房間A同時顯示為包括前面描述的蒸煮鍋，但不需要顯示地板布局405。
如傳感器讀數(shù)410所示，傳感器讀數(shù)映射400目前提供了房間A中當前溫度梯度的視覺描述，即溫度梯度的可視化）。在這里，房間A包括一個噴出熱蒸汽的鍋125。熱蒸汽導致房間A中出現(xiàn)溫度梯度。溫度梯度在傳感器讀數(shù)圖400中直觀顯示。在更接近鍋125的位置提供更高的溫度。隨著距離鍋125的距離增加，溫度降低。物聯(lián)網(wǎng)設(shè)備能夠監(jiān)控和檢測房間A中的溫度。通過從物聯(lián)網(wǎng)設(shè)備獲取傳感器數(shù)據(jù)，MR服務(wù)能夠以傳感器讀數(shù)映射圖400的形式繪制，或以其他方式直觀地記錄所述傳感器數(shù)據(jù)。除了IOT設(shè)備的傳感器數(shù)據(jù)的視覺再現(xiàn)之外，傳感器讀數(shù)映射400同時可以包括詳細說明傳感器數(shù)據(jù)的數(shù)字和/或文本記錄。因此，可以執(zhí)行圖3A的方法300來生成和/或更新IOT設(shè)備的傳感器讀數(shù)映射。
在一個實施例中，可以向用戶提供視覺時間戳或其他指示。例如，假設(shè)第一個用戶繪制出一個給定的房間。在這里，可以將時間戳附加或以其他方式鏈接到房間的掃描數(shù)據(jù)，以指示掃描何時開始或何時完成。隨后，當?shù)诙脩暨M入房間時，第一次掃描的時間戳可以直觀地顯示給第二用戶。通過顯示時間戳，第二用戶可以知曉之前掃描房間的時間，以及掃描數(shù)據(jù)的新舊程度。新舊程度取決于一系列的因素。例如，掃描具有眾多能夠移動對象的環(huán)境可能只在相對較短的時間內(nèi)屬于新數(shù)據(jù)。相比之下，對于幾乎沒有或根本沒有能夠移動對象的環(huán)境，掃描數(shù)據(jù)可能會在相對較長的時間內(nèi)屬于新數(shù)據(jù)。所以，新舊程度可能取決于環(huán)境的屬性或特征，包括位于環(huán)境中的對象。
現(xiàn)在轉(zhuǎn)到圖3B，其示出了可由頭顯執(zhí)行示例方法305的流程圖。最初，方法305包括接收由物聯(lián)網(wǎng)設(shè)備生成的傳感器數(shù)據(jù)的動作305A。
然后，方法305包括動作305B，其中頭顯訪問環(huán)境的數(shù)字表示。數(shù)字表示可以是由頭顯本身生成的3D數(shù)字表示。頭顯可以包括任意數(shù)量的掃描傳感器，例如深度攝像頭或其他深度傳感器，并用于繪制環(huán)境的三維幾何形狀、形狀和/或輪廓。生成的映射數(shù)據(jù)可用于生成環(huán)境的三維數(shù)字表示。三維數(shù)字表示可以包括三維表面重建網(wǎng)格、三維點云和/或代表環(huán)境的任何數(shù)量或其他類型的深度映射。
接下來，方法305包括將傳感器數(shù)據(jù)與環(huán)境的數(shù)字表示相關(guān)聯(lián)的動作305C。值得注意的是，傳感器數(shù)據(jù)與環(huán)境中的特定區(qū)域相關(guān)聯(lián)。參考圖4，傳感器數(shù)據(jù)與包括房間A到K的環(huán)境的地板布局405內(nèi)的房間A相關(guān)聯(lián)。
將傳感器數(shù)據(jù)與數(shù)字表示關(guān)聯(lián)包括將傳感器數(shù)據(jù)與對應(yīng)于特定區(qū)域的數(shù)字表示的一部分關(guān)聯(lián)、鏈接、關(guān)聯(lián)或以其他方式附加。例如，數(shù)字表示可以包括描述來自圖4的樓層布局405的至少房間A的三維數(shù)據(jù)和/或二維數(shù)據(jù)。數(shù)字表示同時可以描述包括在樓層布局405中的其他房間（即房間B到K）。所以，因為數(shù)字表示至少描述了房間A，所以傳感器數(shù)據(jù)可以與專門對應(yīng)于房間A的數(shù)字表示的數(shù)據(jù)相鏈接或關(guān)聯(lián)。
回到圖3B，響應(yīng)于：1.確定頭顯在物理上接近特定區(qū)域；或2.確定由頭顯渲染的場景正在可視化特定區(qū)域，方法305包括在頭顯渲染虛擬圖像的動作305D。其中，虛擬圖像代表傳感器數(shù)據(jù)。因此，頭顯可以顯示與物聯(lián)網(wǎng)設(shè)備監(jiān)控的一個或多個條件相對應(yīng)的可視化。圖5中提供了在方法305中執(zhí)行的處理的示例。
具體而言，圖5顯示了頭顯500，頭顯500顯示為包括視場505。圖5同時示出了物聯(lián)網(wǎng)設(shè)備510。在圖中，鍋515將熱蒸汽釋放到房間中。
如圖3B的方法305所述，頭顯500已接收到由IOT設(shè)備510生成的傳感器數(shù)據(jù)。傳感器數(shù)據(jù)可以從MR服務(wù)接收，或者傳感器數(shù)據(jù)可以直接從IOT設(shè)備接收，而不經(jīng)過MR服務(wù)。
響應(yīng)于從外部物聯(lián)網(wǎng)設(shè)備接收傳感器數(shù)據(jù)，頭顯500隨后呈現(xiàn)與物聯(lián)網(wǎng)設(shè)備510的傳感器讀數(shù)相對應(yīng)的虛擬圖像520。例如，圖5示出了頭顯500如何呈現(xiàn)罐515周圍的溫度梯度。相對靠近鍋515的區(qū)域視為更熱（例如虛擬圖像520中較暗的區(qū)域），而相對遠離鍋515的區(qū)域則視為較冷（例如鍋515周圍逐漸變亮的區(qū)域）。因此，頭顯500能夠可視化由IOT設(shè)備510生成的傳感器數(shù)據(jù)，并且可以用于可視化由IOT設(shè)備510監(jiān)控的條件、參數(shù)或因素。
在一個實施例中，物聯(lián)網(wǎng)設(shè)備以預定頻率傳輸其傳感器數(shù)據(jù)。頻率的例子可以是每隔幾秒鐘、幾分鐘、幾小時、幾天、幾周甚至幾個月。在一個實施例中，物聯(lián)網(wǎng)設(shè)備根據(jù)一個或多個觸發(fā)條件傳輸其傳感器數(shù)據(jù)。觸發(fā)條件可包括檢測其監(jiān)測條件之一發(fā)生變化。例如，物聯(lián)網(wǎng)設(shè)備可配置為連續(xù)或周期性地獲取傳感器數(shù)據(jù)。傳感器數(shù)據(jù)可以存儲在物聯(lián)網(wǎng)設(shè)備的緩沖區(qū)、緩存或內(nèi)存中。
如果傳感器數(shù)據(jù)的值在一次迭代到另一次迭代（即從一次傳感器數(shù)據(jù)捕獲到另一次傳感器數(shù)據(jù)捕獲）期間沒有變化，則可能不需要將冗余或重復數(shù)據(jù)傳輸?shù)組R服務(wù)（或頭顯）。所以在一個實施例中，物聯(lián)網(wǎng)設(shè)備僅響應(yīng)于其所監(jiān)測的條件中檢測到的變化而發(fā)送數(shù)據(jù)。當然，條件可以是任何受監(jiān)控的條件。
例如，物聯(lián)網(wǎng)設(shè)備可以響應(yīng)溫度、濕度、操作環(huán)境的變化，甚至物聯(lián)網(wǎng)設(shè)備自身位置的變化（例如通過IMU數(shù)據(jù)的變化和/或物聯(lián)網(wǎng)設(shè)備攝像頭捕捉的圖像記錄變化）而傳輸其傳感器數(shù)據(jù)。因此，在至少一個示例中，可以由MR服務(wù)和/或由頭顯響應(yīng)于IOT設(shè)備的位置變化來接收傳感器數(shù)據(jù)。
除了顯示三維虛擬圖像，頭顯500同時能夠顯示圖4中傳感器讀數(shù)映射400的二維版本。頭顯500可以在視場505內(nèi)同時顯示傳感器讀數(shù)映射400和虛擬圖像520。例如，傳感器讀數(shù)映射400可以顯示為視場505內(nèi)的迷你映射。
可選地，頭顯500可以配置為在顯示傳感器讀數(shù)映射400和虛擬圖像520之間切換，以便在任何時間僅顯示一個?？梢皂憫?yīng)命令（例如語音激活命令、虛擬按鈕操作或物理按鈕操作）來執(zhí)行這兩種可視化之間的切換。
相關(guān)專利：Microsoft Patent | Mapping sensor data using a mixed-reality cloud
名為“Mapping sensor data using a mixed-reality cloud”的微軟專利申請最初在2021年11月提交，并于日前由美國專利商標局公布。
