對于生成人體肌肉骨骼表示的計(jì)算機(jī)應(yīng)用程序，系統(tǒng)有必要知道用戶身體的空間定位、方向和運(yùn)動，以提供身體運(yùn)動的真實(shí)表示。例如，通過在虛擬現(xiàn)實(shí)環(huán)境中追蹤用戶雙手的空間位置，應(yīng)用程序?qū)⒛軌虮硎咎摂M雙手的運(yùn)動，從而允許用戶與VR環(huán)境中的虛擬對象交互。
使用可穿戴傳感器追蹤運(yùn)動的現(xiàn)有技術(shù)包括使用從附加到用戶身體不同部位的多個(gè)慣性測量單元（IMU）獲取的信息，以及使用外部成像設(shè)備（例如固定位置攝像頭）重建用戶身體部位的位置和方向。
在名為“Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors”的專利申請中，Meta就介紹了一種利用可穿戴傳感器來獲取并預(yù)測位置的方法和裝置。具體來說，在確定一個(gè)節(jié)段的位置和方法信息后，系統(tǒng)可以相應(yīng)地預(yù)測其他鉸接節(jié)段，從而建模完成的身體部位。
在運(yùn)動學(xué)中，剛體是顯示各種運(yùn)動屬性的對象，例如位置、方向、角速度、加速度。剛體的一個(gè)分段的運(yùn)動屬性可以根據(jù)分段連接方式中的約束確定剛體其他分段的運(yùn)動屬性。例如，手臂可建模為兩段式鉸接剛體，其上部對應(yīng)于在肩關(guān)節(jié)處連接至軀干的上臂，下部對應(yīng)于前臂，其中兩段在肘關(guān)節(jié)處連接。作為另一個(gè)示例，手可以建模為多節(jié)鉸接體，手腕中的關(guān)節(jié)和每個(gè)手指形成模型中多節(jié)之間的接口。在一個(gè)實(shí)施例中，剛體模型中的節(jié)段的運(yùn)動可以模擬為鉸接剛體系統(tǒng)，其中使用訓(xùn)練的統(tǒng)計(jì)模型預(yù)測模型中節(jié)段相對于其他節(jié)段的方向和位置信息。
人體肌肉骨骼系統(tǒng)可以建模為多節(jié)段鉸接剛體系統(tǒng)，關(guān)節(jié)形成不同節(jié)段之間的接口，關(guān)節(jié)角度定義模型中連接節(jié)段之間的空間關(guān)系。對關(guān)節(jié)運(yùn)動的限制取決于連接節(jié)段的關(guān)節(jié)類型和限制關(guān)節(jié)運(yùn)動范圍的生物結(jié)構(gòu)，如肌肉、肌腱、韌帶。例如，連接上臂與軀干的肩關(guān)節(jié)和連接大腿與軀干的髖關(guān)節(jié)是允許伸展和彎曲運(yùn)動以及旋轉(zhuǎn)運(yùn)動的球窩關(guān)節(jié)。相比之下，連接上臂和前臂的肘關(guān)節(jié)和連接大腿和小腿的膝關(guān)節(jié)允許更有限的運(yùn)動范圍。如本文所述，多段鉸接剛體系統(tǒng)可用于模擬人體肌肉骨骼系統(tǒng)。
圖1是一個(gè)示例性系統(tǒng)100。所述系統(tǒng)包括多個(gè)自動傳感器110，其配置成記錄由人體各部分的運(yùn)動產(chǎn)生的信號。這里的自動傳感器是指配置為測量身體部分的運(yùn)動，并且不需要使用外部傳感器的傳感器。自動傳感器110可包括一個(gè)或多個(gè)慣性測量單元（IMU）。在一個(gè)實(shí)施例中，IMU可用于感測關(guān)于附著IMU的身體部分的移動的信息，并且可隨著用戶隨時(shí)間移動而追蹤從感測數(shù)據(jù)導(dǎo)出的信息，例如位置和/或方向信息。例如，一個(gè)或多個(gè)IMU可用于在用戶隨時(shí)間移動時(shí)追蹤靠近用戶軀干的用戶身體部分的移動，例如手臂或雙腿。
自動傳感器110同時(shí)可包括多個(gè)神經(jīng)肌肉傳感器，其配置成記錄由人體骨骼肌中的神經(jīng)肌肉活動產(chǎn)生的信號。這里的神經(jīng)肌肉活動是指支配肌肉的脊髓運(yùn)動神經(jīng)元的神經(jīng)激活、肌肉激活、肌肉收縮或神經(jīng)激活、肌肉激活和肌肉收縮的任何組合。神經(jīng)肌肉傳感器可包括一個(gè)或多個(gè)肌電圖（EMG）傳感器、一個(gè)或多個(gè)機(jī)械肌圖（MMG）傳感器、一個(gè)或多個(gè)超聲肌圖（SMG）傳感器和/或配置為檢測神經(jīng)肌肉信號的任何合適類型的一個(gè)或多個(gè)傳感器。在一個(gè)實(shí)施例中，多個(gè)神經(jīng)肌肉傳感器可用于感測與由肌肉控制的身體部分的運(yùn)動相關(guān)的肌肉活動，其中神經(jīng)肌肉傳感器布置為感測肌肉活動。描述運(yùn)動的空間信息可以基于用戶隨時(shí)間移動時(shí)感測到的神經(jīng)肌肉信號來預(yù)測。
在包括至少一個(gè)IMU和多個(gè)神經(jīng)肌肉傳感器的實(shí)施例中，可以將IMU和神經(jīng)肌肉傳感器布置成檢測人體不同部位的運(yùn)動。例如，IMU可布置成檢測靠近軀干的一個(gè)或多個(gè)身體節(jié)段的運(yùn)動，而神經(jīng)肌肉傳感器可布置成檢測遠(yuǎn)離軀干的一個(gè)或多個(gè)身體節(jié)段的運(yùn)動。
不過，自動傳感器110可以以任何合適的方式布置。例如在一個(gè)實(shí)施例中，至少一個(gè)IMU和多個(gè)神經(jīng)肌肉傳感器可共同位于身體節(jié)段上，以使用不同類型的測量來追蹤身體節(jié)段的運(yùn)動。置。
每個(gè)自動傳感器110包括一個(gè)或多個(gè)運(yùn)動感測組件，其配置為感測運(yùn)動信息。在IMU的情況下，運(yùn)動感測部件可包括一個(gè)或多個(gè)加速計(jì)、陀螺儀、磁強(qiáng)計(jì)或其任何組合。在神經(jīng)肌肉傳感器的情況下，運(yùn)動傳感部件可包括但不限于電極，電極配置用于檢測身體表面上的電位，振動傳感器配置用于測量皮膚表面振動，以及聲學(xué)傳感組件。
在一個(gè)實(shí)施例中，可以使用硬件信號處理電路處理一個(gè)或多個(gè)運(yùn)動傳感組件的輸出。在其他實(shí)施例中，可以在軟件中執(zhí)行運(yùn)動感測組件的輸出的一定信號處理。
在一個(gè)實(shí)施例中，可對記錄的傳感器數(shù)據(jù)進(jìn)行處理，以計(jì)算額外的衍生測量值，然后將其作為統(tǒng)計(jì)模型的輸入提供。例如，可以對來自IMU傳感器的記錄信號進(jìn)行處理，以導(dǎo)出指定剛體段隨時(shí)間的方向的方向信號。可以使用自動傳感器組件110的至少一個(gè)或多個(gè)傳感組件與自主信號處理集成，但可以不與自動傳感器組件110的一個(gè)或多個(gè)通信組件直接集成。
在一個(gè)實(shí)施例中，多個(gè)自動傳感器110中可布置為可穿戴設(shè)備的一部分。例如在一個(gè)非限制性示例中，IMU傳感器和多個(gè)神經(jīng)肌肉傳感器圍繞可調(diào)節(jié)和/或彈性帶周向布置。
在一個(gè)實(shí)施例中，16個(gè)肌電傳感器沿周向布置在彈性帶周圍，而彈性帶配置為佩戴在用戶的下臂周圍。例如，圖2示出了圍繞彈性帶502周向布置的EMG傳感器504。根據(jù)具體的位置，彈性帶又可稱為可穿戴臂帶/腕帶，腿帶/踝帶?？纱┐鞅蹘Щ蛲髱Э捎糜陬A(yù)測手部運(yùn)動任務(wù)的肌肉骨骼位置信息，而可穿戴腿帶或踝帶可用于預(yù)測腳步運(yùn)動任務(wù)的肌肉骨骼位置信息。
例如，如圖3所示，手508佩戴彈性帶502。這樣，EMG傳感器504可以配置成在用戶使用手指540控制鍵盤530時(shí)記錄EMG信號。在一個(gè)實(shí)施例中，彈性帶502可包括一個(gè)或多個(gè)IMU（未示出）。
在一個(gè)實(shí)施例中，多個(gè)可穿戴設(shè)備可用于預(yù)測涉及身體多個(gè)部位的運(yùn)動的肌肉骨骼位置信息。在實(shí)時(shí)運(yùn)動追蹤期間，從單個(gè)臂帶/腕帶可穿戴設(shè)備感測的信息用于重建身體運(yùn)動，例如重建前臂、上臂和手臂的位置和方向。
在一個(gè)實(shí)施例中，可以提供用于預(yù)測肌肉骨骼位置信息的統(tǒng)計(jì)模型。如上所述，多節(jié)段鉸接剛體模型中節(jié)段之間的關(guān)節(jié)類型約束剛體的運(yùn)動。另外，不同的個(gè)體在執(zhí)行任務(wù)時(shí)往往會以其特有的方式移動，而這可以通過個(gè)體用戶行為的統(tǒng)計(jì)模式來捕獲。根據(jù)一個(gè)實(shí)施例，可將對人體運(yùn)動的約束并入用于預(yù)測的統(tǒng)計(jì)模型中。另外，可以利用傳感器數(shù)據(jù)來訓(xùn)練學(xué)習(xí)約束。
在一個(gè)實(shí)施例中，可訓(xùn)練系統(tǒng)100以預(yù)測用戶移動時(shí)的肌肉骨骼信息。在一個(gè)實(shí)施例中，系統(tǒng)100可以通過記錄來自自動傳感器110的信號和在用戶執(zhí)行一個(gè)或多個(gè)動作時(shí)從一個(gè)或多個(gè)用戶佩戴的位置傳感器記錄的位置信息來進(jìn)行訓(xùn)練。
在一個(gè)實(shí)施例中，在系統(tǒng)100經(jīng)過訓(xùn)練以基于特定用戶的自主傳感器信號預(yù)測肌肉骨骼位置信息后，用戶可利用系統(tǒng)100執(zhí)行虛擬或物理動作而不使用位置傳感器。例如，當(dāng)系統(tǒng)100訓(xùn)練為以高精度）預(yù)測肌肉骨骼位置信息時(shí)，預(yù)測本身可用于確定用于生成用戶身體的肌肉骨骼表示的肌肉骨骼位置信息。
圖4描述了使用從一個(gè)或多個(gè)用戶佩戴的自主傳感器記錄的信號生成統(tǒng)計(jì)模型的過程400。過程400可以由任何合適的計(jì)算設(shè)備執(zhí)行。例如，過程400可以由參考圖1描述的處理器112執(zhí)行。作為另一示例，可以使用一個(gè)或多個(gè)服務(wù)器執(zhí)行過程400的一個(gè)或多個(gè)動作。例如，可以使用云計(jì)算環(huán)境來執(zhí)行動作410中與統(tǒng)計(jì)模型訓(xùn)練有關(guān)的至少一部分。
過程400從動作402開始，其中為執(zhí)行一個(gè)或多個(gè)動作的一個(gè)或多個(gè)用戶獲得多個(gè)傳感器信號。在一個(gè)實(shí)施例中，可將多個(gè)傳感器信號記錄為過程400的一部分。
在提供基于多種類型傳感器（例如IMU傳感器、EMG傳感器、MMG傳感器、SMG傳感器）的預(yù)測中，可以針對每種類型的傳感器訓(xùn)練單獨(dú)的統(tǒng)計(jì)模型，并且可以組合傳感器類型特定模型的輸出以生成用戶身體的肌肉骨骼表示。在其他實(shí)施例中，在動作402中從兩個(gè)或多個(gè)不同類型的傳感器獲得的傳感器信號可以提供給單個(gè)統(tǒng)計(jì)模型，并基于從不同類型的傳感器記錄的信號進(jìn)行訓(xùn)練。在一個(gè)說明性實(shí)現(xiàn)中，IMU傳感器和多個(gè)EMG傳感器布置在配置成佩戴在用戶前臂周圍的可穿戴設(shè)備，并且由IMU和EMG傳感器記錄的信號被共同提供作為統(tǒng)計(jì)模型的輸入。
在一個(gè)實(shí)施例中，可以指示用戶多次執(zhí)行任務(wù)，并且可以針對用戶多次重復(fù)的任務(wù)記錄傳感器信號和位置信息。在以惡搞實(shí)施例中，可以基于與來自多個(gè)用戶的記錄信號相對應(yīng)的訓(xùn)練數(shù)據(jù)生成跨用戶統(tǒng)計(jì)模型，并且當(dāng)用戶使用系統(tǒng)時(shí)，基于記錄的傳感器數(shù)據(jù)對統(tǒng)計(jì)模型進(jìn)行訓(xùn)練，以便統(tǒng)計(jì)模型學(xué)習(xí)依賴于用戶的特征，從而改進(jìn)系統(tǒng)對特定用戶的預(yù)測能力。
如上所述，當(dāng)一個(gè)或多個(gè)用戶中的每個(gè)用戶一次或多次執(zhí)行一個(gè)或多個(gè)任務(wù)中的每個(gè)任務(wù)時(shí)，可通過記錄傳感器信號來獲得在動作402處獲得的傳感器數(shù)據(jù)。當(dāng)用戶執(zhí)行任務(wù)時(shí)，可在動作404中獲得描述任務(wù)執(zhí)行期間不同身體片段的空間位置的位置信息。在一個(gè)實(shí)施例中，使用在執(zhí)行任務(wù)期間追蹤身體上不同點(diǎn)的位置的一個(gè)或多個(gè)外部設(shè)備或系統(tǒng)來獲得位置信息。
接下來，過程400進(jìn)行到動作406，其中可選地處理在動作402中獲得的自動傳感器信號和/或在動作404中獲得的位置信息。例如，可以使用放大、濾波、整流或其他類型的信號處理來處理自主傳感器信號或位置信息信號。
接下來，過程400進(jìn)行到動作408，并基于位置信息確定肌肉骨骼位置特征。在一個(gè)實(shí)施例中，不是使用與位置傳感器相對應(yīng)的記錄的空間坐標(biāo)作為訓(xùn)練數(shù)據(jù)來訓(xùn)練統(tǒng)計(jì)模型，而是基于記錄的位置信息來確定一組導(dǎo)出的肌肉骨骼位置特征值，并將導(dǎo)出的值用作訓(xùn)練統(tǒng)計(jì)模型的訓(xùn)練數(shù)據(jù)。例如，使用關(guān)于鉸接剛體模型中連接的剛性段對之間的約束的信息，位置信息可用于確定關(guān)節(jié)角度。
接下來，過程400前進(jìn)到動作410，并組件在動作402和408處獲得的時(shí)間序列信息，從而創(chuàng)建用于在動作410處訓(xùn)練統(tǒng)計(jì)模型的訓(xùn)練數(shù)據(jù)?？梢砸匀魏魏线m的方式組合所獲得的數(shù)據(jù)。
在動作412，可以從動作410生成的訓(xùn)練數(shù)據(jù)估計(jì)統(tǒng)計(jì)模型的參數(shù)值。例如，當(dāng)統(tǒng)計(jì)模型是神經(jīng)網(wǎng)絡(luò)時(shí)，可以從訓(xùn)練數(shù)據(jù)估計(jì)神經(jīng)網(wǎng)絡(luò)的參數(shù)。
接下來，過程400前進(jìn)到動作414，并存儲訓(xùn)練的統(tǒng)計(jì)模型。訓(xùn)練后的統(tǒng)計(jì)模型可以使用任何合適的格式存儲。
圖5示出了基于來自多個(gè)自動傳感器的記錄信號和經(jīng)過訓(xùn)練的統(tǒng)計(jì)模型預(yù)測肌肉骨骼位置信息的過程500。
過程500從動作510開始，其中從布置在用戶身體表面上或附近的多個(gè)自動傳感器記錄信號，以記錄執(zhí)行任務(wù)期間與身體運(yùn)動相關(guān)的活動。過程500然后進(jìn)行到動作512，其中可選地處理由自主傳感器記錄的信號。例如，可以使用放大、濾波、整流或其他類型的信號處理來處理信號。
過程500接著進(jìn)行到動作514。其中，自動傳感器信號提供使用上文過程400描述的一種或多種技術(shù)訓(xùn)練的統(tǒng)計(jì)模型的輸入。在連續(xù)記錄信號的實(shí)施例中，可連續(xù)或周期性地將連續(xù)記錄的信號作為輸入提供給訓(xùn)練的統(tǒng)計(jì)模型，用于預(yù)測給定輸入傳感器數(shù)據(jù)集的肌肉骨骼位置信息（例如關(guān)節(jié)角度）。
在經(jīng)過訓(xùn)練的統(tǒng)計(jì)模型接收到作為一組輸入?yún)?shù)的傳感器數(shù)據(jù)之后，過程500前進(jìn)到動作516。其中，從經(jīng)過訓(xùn)練的統(tǒng)計(jì)模型輸出預(yù)測的肌肉骨骼位置信息。如上所述，在一個(gè)實(shí)施例中，預(yù)測的肌肉骨骼位置信息可包括表示用戶身體至少一部分的多段鉸接剛體模型的一組肌肉骨骼位置信息值（例如一組關(guān)節(jié)角度）。
在動作516中預(yù)測肌肉骨骼位置信息之后，過程500進(jìn)入動作518，其中至少部分地基于訓(xùn)練的統(tǒng)計(jì)模型輸出的肌肉骨骼位置信息生成用戶身體的基于計(jì)算機(jī)的肌肉骨骼表示?？梢砸匀魏魏线m的方式生成基于計(jì)算機(jī)的肌肉骨骼表示。例如，基于計(jì)算機(jī)的人體肌肉骨骼模型可以包括多個(gè)剛體段，每個(gè)剛體段對應(yīng)于身體中的一個(gè)或多個(gè)骨骼結(jié)構(gòu)。例如，上臂可以表示為剛體，下臂可以表示為剛體，并且手上的每個(gè)手指可以由至少一個(gè)剛體段表示。
當(dāng)統(tǒng)計(jì)模型測量和處理新的傳感器數(shù)據(jù)以提供肌肉骨骼位置信息的新預(yù)測（例如一組更新的關(guān)節(jié)角度）時(shí)，基于計(jì)算機(jī)的肌肉骨骼表示可以基于根據(jù)統(tǒng)計(jì)模型輸出確定的關(guān)節(jié)角度的更新集合來更新。通過這種方式，基于計(jì)算機(jī)的肌肉骨骼表示在連續(xù)記錄自主傳感器數(shù)據(jù)時(shí)實(shí)時(shí)動態(tài)更新。
基于計(jì)算機(jī)的肌肉骨骼表示可以任何合適的方式表示和存儲。
除了用于預(yù)測肌肉骨骼位置信息之外，由神經(jīng)肌肉傳感器直接記錄的神經(jīng)肌肉活動可與生成的肌肉骨骼表征相結(jié)合，以提供更豐富的肌肉骨骼表征。
圖6示出了用于將用神經(jīng)肌肉傳感器記錄的神經(jīng)肌肉活動與至少部分由神經(jīng)肌肉活動生成的肌肉骨骼表示相結(jié)合的過程600。在動作602中，從布置在用戶身體附近或表面上的多個(gè)神經(jīng)肌肉傳感器記錄神經(jīng)肌肉信號。在上述示例的一些實(shí)施例中，多個(gè)神經(jīng)肌肉傳感器與可穿戴設(shè)備集成，例如可佩戴在用戶身體部分周圍的柔性或可調(diào)節(jié)帶。
過程600接著進(jìn)行到動作604，其中至少部分地基于記錄的神經(jīng)肌肉信號或從神經(jīng)肌肉信號導(dǎo)出的信號來預(yù)測肌肉骨骼位置信息。然后，過程600進(jìn)入動作606，其中基于訓(xùn)練的統(tǒng)計(jì)模型輸出的預(yù)測肌肉骨骼位置信息生成基于計(jì)算機(jī)的肌肉骨骼表示。
如圖6所示，過程600包括使用神經(jīng)肌肉信號預(yù)測肌肉活動的可選動作608。在一個(gè)實(shí)施例中，至少部分地基于動作608中記錄的神經(jīng)肌肉信號預(yù)測的肌肉活動與動作610中生成的肌肉骨骼表示相結(jié)合。
相關(guān)專利：Facebook Patent | Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
名為“Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors”的Meta專利申請最初在2021年4月提交，并在日前由美國專利商標(biāo)局公布。
