隨著AR/VR的興起，人們暢想的一個(gè)用例是足不出戶就能身臨其境地參加各種活動(dòng)，比如說(shuō)音樂(lè)會(huì)。對(duì)于所述情景，可以在音樂(lè)會(huì)現(xiàn)場(chǎng)使用多臺(tái)攝像設(shè)備來(lái)錄制內(nèi)容并生成XR環(huán)境。以這種方式，即便沒有親自出席，AR/VR用戶都可以通過(guò)相關(guān)體驗(yàn)來(lái)獲得一種身臨其境的感覺。但由于網(wǎng)絡(luò)和處理能力等多方面的限制，如何有效交付多攝像頭內(nèi)容成為了廠商需要解決的一個(gè)問(wèn)題。
在名為“Efficient delivery of multi-camera interactive content”的專利申請(qǐng)中，蘋果就介紹了一種用于更有效傳送多攝像頭交互式內(nèi)容的方法和系統(tǒng)。
在各種實(shí)施例中，在物理環(huán)境中捕獲內(nèi)容的錄制設(shè)備可以確定其在物理環(huán)境中的位置，并在可用于流式傳輸錄制內(nèi)容的清單中對(duì)其位置進(jìn)行編碼。然后，基于錄制內(nèi)容呈現(xiàn)XR環(huán)境的設(shè)備可以使用編碼位置來(lái)確定是否基于用戶在XR環(huán)境中查看內(nèi)容的位置來(lái)流式傳輸錄制內(nèi)容。
以音樂(lè)會(huì)作為示例，如果用戶嘗試在XR環(huán)境中的音樂(lè)會(huì)舞臺(tái)附近位置查看內(nèi)容，則呈現(xiàn)設(shè)備可以下載于音樂(lè)會(huì)舞臺(tái)附近錄制的內(nèi)容，因?yàn)樗鰞?nèi)容可能與用戶的當(dāng)前視場(chǎng)相關(guān)。作為對(duì)比，在遠(yuǎn)離音樂(lè)會(huì)舞臺(tái)位置所錄制的內(nèi)容可能與用戶的當(dāng)前視場(chǎng)無(wú)關(guān)，所以呈現(xiàn)設(shè)備可以基于所述內(nèi)容的編碼位置來(lái)確定不下載內(nèi)容。
在一個(gè)實(shí)施例中，錄制設(shè)備同時(shí)可以在錄制內(nèi)容時(shí)確定其姿勢(shì)，并在清單中對(duì)姿勢(shì)進(jìn)行編碼，以便呈現(xiàn)設(shè)備可以確定錄制設(shè)備在物理環(huán)境中的方向，以便確定其是否與用戶的視場(chǎng)相關(guān)。例如，當(dāng)錄制設(shè)備的姿勢(shì)指向舞臺(tái)時(shí)，若用戶選擇的位置朝向音樂(lè)會(huì)觀眾席，則錄制內(nèi)容可能與用戶的視場(chǎng)不太相關(guān)。
簡(jiǎn)單來(lái)說(shuō)，蘋果構(gòu)思的方法是：活動(dòng)現(xiàn)場(chǎng)有多臺(tái)攝像頭錄制內(nèi)容。對(duì)于XR頭顯體驗(yàn)，可以確定用戶在XR環(huán)境中的位置和方向；接下來(lái)，選擇與之最為匹配的機(jī)位所錄制的內(nèi)容；然后，頭顯下載并呈現(xiàn)基于所述機(jī)位錄制內(nèi)容渲染的沉浸式體驗(yàn)。所以，這種選擇性下載和處理機(jī)位錄制內(nèi)容，而不是完整下載和處理所有機(jī)位錄制內(nèi)容能夠有效交付多攝像頭交互是內(nèi)容。
蘋果指出，能夠根據(jù)物理環(huán)境中錄制設(shè)備的編碼位置和姿勢(shì)來(lái)快速智能地確定用于顯示的錄制內(nèi)容，這可以幫助XR設(shè)備大大減少流式傳輸?shù)膬?nèi)容量，從而節(jié)省寶貴的網(wǎng)絡(luò)帶寬。
圖1示出了內(nèi)容遞送系統(tǒng)10。在所示實(shí)施例中，系統(tǒng)10包括多個(gè)攝像頭110A-C、存儲(chǔ)器120和呈現(xiàn)設(shè)備130。攝像頭110可以包括編碼器112。存儲(chǔ)器120可以包括清單122A-C和視頻片段124A-C。呈現(xiàn)設(shè)備130可以包括流式應(yīng)用132。
攝像頭110可以從空間100內(nèi)的不同位置錄制物理環(huán)境的內(nèi)容，例如音樂(lè)會(huì)場(chǎng)館。攝像頭110可以放置在音樂(lè)會(huì)場(chǎng)館不同的位置，以從不同的角度實(shí)時(shí)捕獲流媒體內(nèi)容。為了便于將物理環(huán)境中錄制的內(nèi)容分發(fā)到呈現(xiàn)相應(yīng)XR環(huán)境的設(shè)備，攝像頭110可各自使用相應(yīng)的編碼器112。
編碼器112可以包括一個(gè)或多個(gè)視頻和/或音頻編解碼器，并用于以各種格式和質(zhì)量級(jí)別生成編碼內(nèi)容118。為了便于生成相應(yīng)的XR環(huán)境，編碼器112可以確定攝像頭110的一個(gè)或多個(gè)位置114和姿勢(shì)116，并將所述信息編碼到內(nèi)容118中，以便于流媒體設(shè)備選擇內(nèi)容。
在各種實(shí)施例中，位置114是攝像頭110在物理環(huán)境中錄制內(nèi)容時(shí)的位置。例如在所示實(shí)施例中，可以使用在空間100內(nèi)定義的笛卡爾坐標(biāo)X、Y和Z來(lái)指定位置114。在各種實(shí)施例中，姿勢(shì)116是攝像頭110在物理環(huán)境中錄制內(nèi)容時(shí)的姿勢(shì)/方向。
由于給定攝像頭110可以隨時(shí)間改變其位置114或姿勢(shì)116，攝像頭110可以對(duì)多個(gè)位置114和/或姿勢(shì)116以及多個(gè)參考時(shí)間進(jìn)行編碼，以指示攝像頭110所在的位置及其在給定時(shí)間點(diǎn)的當(dāng)前姿勢(shì)。參考時(shí)間同時(shí)可以基于攝像頭110之間共享的公共時(shí)間參考，以便能夠確定一個(gè)編碼內(nèi)容118的錄制時(shí)間相對(duì)于另一個(gè)編碼內(nèi)容118的錄制時(shí)間。
在各種實(shí)施例中，存儲(chǔ)器120配置為存儲(chǔ)從攝像頭110A-110C接收的編碼內(nèi)容118A-C，并促進(jìn)對(duì)編碼內(nèi)容118進(jìn)行流式傳輸。存儲(chǔ)器120可以以清單122和相應(yīng)視頻片段124的形式存儲(chǔ)編碼內(nèi)容118。在各種實(shí)施例中，清單122包括關(guān)于每個(gè)視頻片段124的元數(shù)據(jù)，以便接收器可以選擇適當(dāng)?shù)囊曨l片段124。
在各種實(shí)施例中，諸如頭戴式顯示器的呈現(xiàn)設(shè)備130配置為向用戶呈現(xiàn)基于攝像頭110編碼內(nèi)容118相對(duì)應(yīng)的沉浸式環(huán)境。
圖2描繪了編碼內(nèi)容134的選擇200。在所示示例中，流媒體應(yīng)用132正在從由攝像頭110創(chuàng)建的三組編碼內(nèi)容118中執(zhí)行選擇200。具體而言，由攝像頭110A產(chǎn)生的視頻片段124A可以描繪第一幀212A中的內(nèi)容，由攝像頭110B產(chǎn)生的視頻片段124B可以描繪第二幀212B中的內(nèi)容，而由攝像頭110C產(chǎn)生的視頻片段124C可以描繪第三幀212C中的內(nèi)容。如圖所示，選擇200可以從流媒體應(yīng)用132下載清單122并確定位置202和姿勢(shì)204。
在各種實(shí)施例中，位置202是頭顯設(shè)備用戶在XR環(huán)境中查看內(nèi)容時(shí)的位置。姿勢(shì)204是用戶在XR環(huán)境中查看內(nèi)容時(shí)的姿勢(shì)。
基于位置202和姿勢(shì)204，流媒體應(yīng)用132可以讀取清單122以識(shí)別視頻片段124的位置114和姿勢(shì)116，以確定哪個(gè)視頻片段124與用戶的當(dāng)前視場(chǎng)相關(guān)。
在一個(gè)示例中，流媒體應(yīng)用132可以確定幀212A-C都與用戶的當(dāng)前視場(chǎng)相關(guān)。但基于所描繪的位置202和姿勢(shì)204，流媒體應(yīng)用132可以確定幀212C位于幀212A或幀212B后面，從而確定下載視頻片段124A或124B，而不下載視頻片段124C。
當(dāng)用戶的當(dāng)前位置202和/或姿勢(shì)204改變時(shí)，流媒體應(yīng)用132可以確定停止流式傳輸由一個(gè)攝像頭錄制的內(nèi)容，并轉(zhuǎn)而流式傳輸由另一個(gè)攝像頭所錄制的內(nèi)容。例如，如果用戶沿著姿勢(shì)204的路徑向前移動(dòng)到音樂(lè)會(huì)舞臺(tái)，這時(shí)幀212A和212B將位于用戶當(dāng)前視場(chǎng)的后面，但幀212C依然直接位于視圖的前面。所以，流媒體應(yīng)用132可以開始下載對(duì)應(yīng)于幀212C的視頻片段124C，但停止下載分別對(duì)應(yīng)于幀212A和212B的段124A和124B。類似地，如果用戶保持在相同的位置202但改變姿勢(shì)204，這時(shí)幀212A-C不再在用戶的當(dāng)前視場(chǎng)中，則流媒體應(yīng)用132可以停止下載視頻片段124A-C。
在一個(gè)實(shí)施例中，流媒體應(yīng)用132可以進(jìn)一步將多個(gè)幀212的內(nèi)容拼接在一起，以便向用戶呈現(xiàn)連續(xù)視圖。如圖所示，流應(yīng)用132可以根據(jù)清單122并基于用戶的當(dāng)前視場(chǎng)，確定幀212B可以部分地與幀212A重疊。在幀212A沒有完全占據(jù)用戶的當(dāng)前視場(chǎng)的情況下，流應(yīng)用132可以決定依然使用幀212A作為主幀，然后使用幀212B（假設(shè)它能夠提供一定的缺失內(nèi)容）作為補(bǔ)丁幀，使得補(bǔ)丁部分214A與主幀212A結(jié)合以產(chǎn)生連續(xù)視圖。然而，幀212B的重疊部分214B可以丟棄。在幀212A和212B沒有實(shí)時(shí)流傳輸?shù)那闆r下，流媒體應(yīng)用132可以讀取清單122中包括的參考時(shí)間，以便幀212A和212B是在重疊的時(shí)間幀期間所創(chuàng)建，亦即可以拼接在一起。
圖4示出了呈現(xiàn)設(shè)備130中的組件框圖。在所示實(shí)施例中，呈現(xiàn)設(shè)備130包括一個(gè)或多個(gè)用戶輸入設(shè)備410、姿勢(shì)傳感器420、包括內(nèi)容預(yù)測(cè)器430的流媒體應(yīng)用132、顯示器440、揚(yáng)聲器450。
在各種實(shí)施例中，用戶輸入設(shè)備410配置為從用戶收集信息，以便確定用戶在XR環(huán)境中的位置202。例如，當(dāng)體驗(yàn)開始時(shí)，用戶的查看位置202最初可以設(shè)置為某個(gè)默認(rèn)位置202。然后，用戶可能想要改變位置202，并向用戶輸入設(shè)備410提供相應(yīng)的輸入，以使位置202改變。例如，在用戶輸入設(shè)備410包括搖桿的實(shí)施例中，用戶可以向前推動(dòng)搖桿，以向前移動(dòng)查看位置202。
在各種實(shí)施例中，姿勢(shì)傳感器420配置為從用戶收集信息，以便確定用戶在XR環(huán)境中的姿勢(shì)204。姿勢(shì)傳感器420可以包括基于當(dāng)前頭部位置和眼睛位置確定用戶姿勢(shì)204的頭部姿勢(shì)傳感器和眼動(dòng)追蹤傳感器。在一個(gè)實(shí)施例中，姿勢(shì)傳感器420可對(duì)應(yīng)于前面討論的用戶輸入設(shè)備410。例如，用戶可以通過(guò)向前或向后推動(dòng)搖桿來(lái)調(diào)整姿勢(shì)204。
如上所述，流媒體應(yīng)用132可以考慮用戶的位置202和姿態(tài)204來(lái)選擇用于呈現(xiàn)的編碼內(nèi)容134。在所示的實(shí)施例中，流媒體應(yīng)用132可以通過(guò)向存儲(chǔ)器120發(fā)送請(qǐng)求432以流式傳輸由攝像頭110錄制的內(nèi)容，從而啟動(dòng)其與存儲(chǔ)器120的交換并獲得所選內(nèi)容134。響應(yīng)于請(qǐng)求432，流媒體應(yīng)用132可以接收一個(gè)或多個(gè)可用于流式傳輸由攝像頭110錄制的內(nèi)容134的清單122。
基于在清單中標(biāo)識(shí)的攝像頭110的位置114和姿勢(shì)116，流媒體應(yīng)用132可以向存儲(chǔ)器120發(fā)送請(qǐng)求434，以提供基于位置202和姿勢(shì)204所選擇的錄制內(nèi)容118的視頻片段124。
在一個(gè)實(shí)施例中，流媒體應(yīng)用132可以基于預(yù)測(cè)器430的預(yù)測(cè)來(lái)進(jìn)一步發(fā)送針對(duì)視頻片段124的請(qǐng)求434。其中，預(yù)測(cè)器430可以基于未來(lái)位置202和204預(yù)測(cè)可能需要視頻片段124。然后，流媒體應(yīng)用132可以從存儲(chǔ)器120接收請(qǐng)求的視頻片段124并進(jìn)行相應(yīng)的處理，以產(chǎn)生經(jīng)由顯示器440呈現(xiàn)的相應(yīng)XR視圖436和經(jīng)由揚(yáng)聲器450呈現(xiàn)的相應(yīng)XR音頻438。
在各種實(shí)施例中，預(yù)測(cè)器430追蹤位置202和姿勢(shì)204信息的先前歷史，并嘗試使用諸如線性回歸的機(jī)器學(xué)習(xí)算法來(lái)推斷未來(lái)的位置202和姿勢(shì)204。在一個(gè)實(shí)施例中，預(yù)測(cè)器430的推斷可以基于正在流式傳輸?shù)幕A(chǔ)內(nèi)容的屬性。例如，如果用戶正在查看內(nèi)容，并且已知一個(gè)項(xiàng)目將出現(xiàn)在可能會(huì)引起用戶注意的內(nèi)容中，例如爆炸，這時(shí)預(yù)測(cè)器430可以假設(shè)用戶可能改變位置202和/或姿勢(shì)204來(lái)查看所述項(xiàng)目，例如爆炸。在其他實(shí)施例中，可以使用其他技術(shù)來(lái)預(yù)測(cè)未來(lái)內(nèi)容118，以便從存儲(chǔ)器120中進(jìn)行選擇。
圖5A示出了第一計(jì)算設(shè)備110執(zhí)行的方法500，第一計(jì)算設(shè)備可以是攝像頭。在步驟505，第一計(jì)算設(shè)備錄制第一計(jì)算設(shè)備所在的物理環(huán)境的內(nèi)容。在各種實(shí)施例中，內(nèi)容可交付給第二計(jì)算設(shè)備，所述第二計(jì)算設(shè)備可以是頭戴式攝像頭。。
在步驟510，第一計(jì)算設(shè)備確定第一計(jì)算設(shè)備在物理環(huán)境中的位置（例如位置114）和姿勢(shì)（例如姿勢(shì)116）和/或確定第一計(jì)算設(shè)備錄制內(nèi)容時(shí)的參考時(shí)間（例如參考時(shí)間332）。
在步驟515，第一計(jì)算設(shè)備對(duì)清單中的位置進(jìn)行編碼，清單可用于將第一計(jì)算設(shè)備錄制的內(nèi)容流式傳輸?shù)降诙?jì)算設(shè)備。在各種實(shí)施例中，編碼位置可由第二計(jì)算設(shè)備用于確定是否流式傳輸由第一計(jì)算設(shè)備錄制的內(nèi)容。在一個(gè)實(shí)施例中，第一計(jì)算設(shè)備同時(shí)對(duì)清單中的姿勢(shì)進(jìn)行編碼，編碼后的姿勢(shì)可由第二計(jì)算設(shè)備使用，以確定在呈現(xiàn)相應(yīng)環(huán)境的同時(shí)是否基于第二計(jì)算設(shè)備的姿勢(shì)來(lái)流傳輸由第一計(jì)算設(shè)備錄制的內(nèi)容。在一個(gè)實(shí)施例中，第一計(jì)算設(shè)備同時(shí)對(duì)清單中的參考時(shí)間進(jìn)行編碼，所述參考時(shí)間可由所述第二計(jì)算設(shè)備使用，以便其將所述第一計(jì)算設(shè)備錄制的內(nèi)容與所述一個(gè)或多個(gè)附加計(jì)算設(shè)備錄制的內(nèi)容拼接在一起，從而呈現(xiàn)相應(yīng)的沉浸式環(huán)境。
相關(guān)專利：Apple Patent | Efficient delivery of multi-camera interactive content
名為“Efficient delivery of multi-camera interactive content”的蘋果專利申請(qǐng)最初在2021年5月提交，并在日前由美國(guó)專利商標(biāo)局公布。
