在AR/VR中，用戶可以以特定的Avatar虛擬化身形式出現(xiàn)，并可映射真實(shí)用戶的物理動作，例如《頭號玩家》中少年韋德·沃茲的VR化身帕西法爾或《星球大戰(zhàn)》中的AR全息萊婭公主。
實(shí)際上，蘋果早前已經(jīng)提交過多份與所述主題相關(guān)的專利申請，而日前一份名為“Moving an avatar based on real-world data”的發(fā)明中，蘋果又介紹了一種通過基于外部傳感器的信息來移動Avatar虛擬化身的方法。
簡單來說，專利描述的實(shí)施例允許SR系統(tǒng)能夠基于外部傳感器檢測的用戶移動信息來為用戶的SR表示生成移動序列。用戶的移動信息表征了用戶在不同時(shí)間的身體姿勢。例如，移動信息表征用戶在第一時(shí)間的第一身體姿勢和用戶在第二時(shí)間的第二身體姿勢。
如果不同身體姿勢之間的轉(zhuǎn)換滿足可接受性閾值，則根據(jù)為SR表示生成的移動序列移動SR表示。例如，如果第一身體姿勢和第二身體姿勢之間的轉(zhuǎn)換滿足可接受性閾值，則根據(jù)為SR表示生成的移動序列移動SR表示。
在一個(gè)實(shí)施例中，可接受性閾值指定一個(gè)持續(xù)時(shí)間，如果在可接受性閾值指定的持續(xù)時(shí)間內(nèi)完成轉(zhuǎn)換，則轉(zhuǎn)換滿足可接受性閾值。在一個(gè)實(shí)施例中，如果轉(zhuǎn)換包含與模板身體移動匹配的移動，則轉(zhuǎn)換滿足可接受性閾值。
圖1是基于上述實(shí)施例的一個(gè)的示例性操作環(huán)境100，其包括由用戶108穿戴的頭戴式顯示器120，兩個(gè)外部傳感器130A和130B，以及一個(gè)控制組件110。需要理解的是，在其他實(shí)施例中可以包括兩個(gè)或以上的外部傳感器。
在一個(gè)實(shí)施例中，控制組件110配置成管理和協(xié)調(diào)用戶的SR沉浸式體驗(yàn)?？刂平M件可以是一個(gè)本地服務(wù)器或一個(gè)遠(yuǎn)程服務(wù)器，并以有線或無線方式來與頭顯和外部傳感器耦合。
在一個(gè)實(shí)施例中，兩個(gè)外部傳感器130A和130B配置成檢測用戶108的移動，并為控制組件110和/或頭顯120提供與用戶108相關(guān)的移動信息。
外部傳感器包括圖像傳感器，而移動信息包括用戶的圖像。其中，移動信息132表征用戶108的一個(gè)或多個(gè)身體姿勢。在一個(gè)實(shí)施例中，移動信息132表征用戶108在不同時(shí)間的身體姿勢。例如，移動信息132在第一時(shí)間表征第一身體姿勢，在第二時(shí)間表征第二身體姿勢。在一個(gè)實(shí)施例中，移動信息132指示用戶108的關(guān)節(jié)位置和/或關(guān)節(jié)方向。
頭顯120可以向用戶108呈現(xiàn)SR內(nèi)容124，其中SR內(nèi)容124包括對應(yīng)于用戶108的Avartar虛擬化身126。在一個(gè)實(shí)施例中，控制組件110和/或頭顯120可以基于移動信息132來致使Avatar126移動。在一個(gè)實(shí)施例中，如果移動信息132指示身體姿勢之間的轉(zhuǎn)換滿足可接受性閾值，則Avatar126移動。
圖2是控制組件110的示例框圖。其中，控制組件包括SR體驗(yàn)?zāi)K240。SR體驗(yàn)?zāi)K240包括數(shù)據(jù)獲取單元242、姿勢評估單元244、移動生成單元246和數(shù)據(jù)發(fā)送單元248。
在一個(gè)實(shí)施例中，數(shù)據(jù)獲取單元242配置為從頭顯120和外部傳感器130A-B中的至少一個(gè)獲取數(shù)據(jù)。例如，數(shù)據(jù)獲取單元242可以獲取圖1所示的移動信息132，或者數(shù)據(jù)獲取單元242獲取場景105的圖像。在這種實(shí)現(xiàn)中，數(shù)據(jù)獲取單元242執(zhí)行場景理解以識別用戶108和用戶108的身體姿勢。例如，數(shù)據(jù)獲取單元242可以基于所獲得的數(shù)據(jù)確定用戶108的關(guān)節(jié)位置和/或關(guān)節(jié)方向。
在一個(gè)實(shí)施例中，姿勢評估單元244確定身體姿勢之間的轉(zhuǎn)換是否滿足可接受性閾值。例如在一個(gè)實(shí)施例中，姿勢評估單元244確定從用戶108在第一時(shí)間的第一身體姿勢到用戶108在第二時(shí)間的第二身體姿勢的轉(zhuǎn)換是否滿足可接受性閾值。
在一個(gè)實(shí)施例中，可接受性閾值與空間可接受性相關(guān)。姿勢評估單元244確定轉(zhuǎn)換是否包括在模板可接受閾值內(nèi)的移動。例如，姿勢評估單元244確定用戶108的關(guān)節(jié)位置和/或關(guān)節(jié)方向是否匹配模板關(guān)節(jié)位置和/或模板關(guān)節(jié)方向。
在一個(gè)實(shí)施例中，可接受性閾值與時(shí)間可接受性相關(guān)。姿勢評估單元244確定轉(zhuǎn)換是否在可接受性閾值指示的時(shí)間量內(nèi)完成。例如，姿勢評估單元244確定第一時(shí)間和第二時(shí)間之間的時(shí)間差是否在由可接受性閾值指示的閾值時(shí)間段內(nèi)。
在一個(gè)實(shí)施例中，姿勢評估單元244確定可接受性閾值。在一個(gè)實(shí)施例中，姿勢評估單元244接收指示可接受性閾值的用戶輸入。姿勢評估單元244基于用戶108的過去表現(xiàn)來調(diào)整可接受性閾值。例如，如果用戶108在滿足可接受性閾值方面有困難，則姿勢評估單元244放松可接受性閾值。在一些實(shí)現(xiàn)中，如果用戶108太容易滿足可接受性閾值，則姿勢評估單元244收緊可接受性閾值。
響應(yīng)于滿足可接受性閾值的身體姿勢之間的轉(zhuǎn)換，生成單元246為Avatar126生成移動序列。在一個(gè)實(shí)施例，移動生成單元246為Avatar126選擇模板身體移動。移動生成單元246從存儲在存儲器220中的一組模板身體移動中選擇模板身體移動。在一個(gè)實(shí)施例中，移動生成單元246基于用戶108的第一身體姿勢和第二身體姿勢選擇模板身體移動。在這種實(shí)現(xiàn)中，移動生成單元246針對用戶108的不同開始和結(jié)束身體姿勢選擇不同的模板身體移動。
數(shù)據(jù)發(fā)送單元248配置為向頭顯120發(fā)送數(shù)據(jù)，例如將Avatar126的移動序列發(fā)送到頭顯120。
圖3是頭顯的示例性框圖。在一個(gè)實(shí)施例中，頭顯包括SR呈現(xiàn)單元344，后者配置為經(jīng)由一個(gè)或多個(gè)SR顯示器312呈現(xiàn)SR內(nèi)容。在一個(gè)實(shí)施例中，SR呈現(xiàn)單元344從控制組件110獲取與SR內(nèi)容124相對應(yīng)的數(shù)據(jù)?；蛘?，SR呈現(xiàn)單元344利用移動信息132來合成SR內(nèi)容124。在各種實(shí)現(xiàn)中，SR呈現(xiàn)單元344向用戶108呈現(xiàn)SR內(nèi)容124。
專利圖4是外部傳感器的示例性框圖
在一個(gè)實(shí)施例中，兩個(gè)外部傳感器130A和130B配置成檢測用戶108的移動，并為控制組件110和/或頭顯120提供與用戶108相關(guān)的移動信息。
外部傳感器包括圖像傳感器，而移動信息包括用戶的圖像。其中，移動信息132表征用戶108的一個(gè)或多個(gè)身體姿勢。在一個(gè)實(shí)施例中，移動信息132表征用戶108在不同時(shí)間的身體姿勢。例如，移動信息132在第一時(shí)間表征第一身體姿勢，在第二時(shí)間表征第二身體姿勢。在一個(gè)實(shí)施例中，移動信息132指示用戶108的關(guān)節(jié)位置和/或關(guān)節(jié)方向。
圖5A-5B說明了示例性移動信息500/500A。移動信息500表征用戶在第一時(shí)間512的第一身體姿勢510和用戶在第二時(shí)間522的第二身體姿勢520。圖5A同時(shí)示出了從第一身體姿勢510到第二身體姿勢520的過渡530。
在圖5A的示例中，轉(zhuǎn)換530滿足可接受性閾值540。在一個(gè)實(shí)施例中，轉(zhuǎn)換530滿足可接受性閾值540，因?yàn)檗D(zhuǎn)換530包括與模板身體移動匹配的移動。例如，過渡530包括與相應(yīng)模板身體姿勢匹配的中間身體姿勢。由于轉(zhuǎn)換530滿足可接受性閾值540，所以控制組件110和/或頭顯120為用戶108的SR表示126生成移動序列。所以，移動信息500將致使用戶108的Avatar126移動。
圖5B示出了示例移動信息500A。移動信息500A表征用戶在第三時(shí)間552的第三身體姿勢550和用戶在第四時(shí)間562的第四身體姿勢560。圖5B同時(shí)示出了從第三身體姿勢550到第四身體姿勢560的過渡570。在圖5B的示例中，轉(zhuǎn)換570違反（不滿足）可接受性閾值580。例如，轉(zhuǎn)換570包括與模板身體移動不匹配的移動，例如過渡570包括與相應(yīng)模板身體姿勢不匹配的中間身體姿勢。由于轉(zhuǎn)換570不滿足可接受性閾值580，控制組件110和/或頭顯120不為用戶108的Avatar126生成移動序列。所以，移動信息500A不會致使用戶108的Avatar126移動。
在一個(gè)實(shí)施例中，可接受性閾值根據(jù)滿足可接受性閾值的先前轉(zhuǎn)換而改變。例如，如果先前轉(zhuǎn)換的閾值數(shù)量滿足圖5A的可接受閾值540，則控制組件110和/或頭顯120將可接受閾值540縮小到圖5B所示的可接受閾值580。如果先前轉(zhuǎn)換的閾值數(shù)量違反圖5B的可接受閾值580，則控制組件110和/或頭顯120將可接受閾值580加寬到圖5A所示的可接受閾值540。
在一個(gè)實(shí)施例中，可接受性閾值的變化程度是前一個(gè)過渡的破壞程度的函數(shù)。例如，如果先前的轉(zhuǎn)換超出可接受性閾值5-10%，則控制組件110和/或頭顯120將可接受性閾值擴(kuò)大12%。但如果之前的轉(zhuǎn)換違反可接受性閾值20-30%，則控制組件110和/或頭顯120將可接受性閾值擴(kuò)大35%。
在一個(gè)實(shí)施例中，根據(jù)之前的轉(zhuǎn)換更改可接受性閾值可以增強(qiáng)用戶體驗(yàn)。根據(jù)之前的轉(zhuǎn)換更改可接受性閾值可以考慮不同能力的用戶?？s小可接受性閾值會鼓勵(lì)用戶改善他/她的身體姿勢轉(zhuǎn)換，而擴(kuò)大可接受性閾值允許用戶滿足可接受性閾值。
相關(guān)專利：Apple Patent | Moving an avatar based on real-world data
名為“Moving an avatar based on real-world data”的蘋果專利申請最初在2021年3月提交，并在日前由美國專利商標(biāo)局公布。
