麻省理工學(xué)院(MIT)的研究人員公布了首個(gè)開源模擬引擎，它能為可部署的自動(dòng)駕駛汽車的培訓(xùn)和測(cè)試構(gòu)建現(xiàn)實(shí)環(huán)境。由于被證明是安全嘗試危險(xiǎn)駕駛場(chǎng)景的富有成效的試驗(yàn)臺(tái)，超現(xiàn)實(shí)的虛擬世界已被譽(yù)為自動(dòng)駕駛汽車(AV)的最佳駕駛學(xué)校。
特斯拉、Waymo和其他自動(dòng)駕駛公司都在很大程度上依靠數(shù)據(jù)來啟用昂貴的專有逼真的模擬器，這是因?yàn)闇y(cè)試和收集細(xì)微的數(shù)據(jù)通常不是最容易或最理想的再現(xiàn)。
考慮到這一點(diǎn)，來自MIT計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室(CSAIL)的科學(xué)家創(chuàng)建了“VISTA 2.0”--這是一個(gè)數(shù)據(jù)驅(qū)動(dòng)的模擬引擎，車輛可以在現(xiàn)實(shí)世界中學(xué)習(xí)駕駛并從幾乎崩潰的情況下恢復(fù)。更重要的是，所有的代碼正在向公眾開放源代碼。
“今天，只有公司擁有像VISTA 2.0這種類型的模擬環(huán)境和能力的軟件，而且這種軟件是專有的。隨著這個(gè)版本的發(fā)布，研究界將有機(jī)會(huì)獲得一個(gè)強(qiáng)大的新工具從而以加速自動(dòng)駕駛的自適應(yīng)穩(wěn)健控制的研究和開發(fā)，”關(guān)于這項(xiàng)研究的論文的資深作者、MIT教授和CSAIL主任Daniela Rus說道。
VISTA 2.0建立在該團(tuán)隊(duì)以往開發(fā)的模型VISTA的基礎(chǔ)上，跟現(xiàn)有AV模擬器有根本的不同，因?yàn)樗菙?shù)據(jù)驅(qū)動(dòng)的。這意味著它是根據(jù)真實(shí)世界的數(shù)據(jù)建立和逼真地渲染的--從而能直接轉(zhuǎn)移到現(xiàn)實(shí)中。雖然最初的迭代只支持單車跟車和一個(gè)攝像頭傳感器，但要實(shí)現(xiàn)高保真數(shù)據(jù)驅(qū)動(dòng)的模擬需要重新思考如何合成不同的傳感器和行為互動(dòng)的基礎(chǔ)。
進(jìn)入VISTA 2.0：一個(gè)數(shù)據(jù)驅(qū)動(dòng)的系統(tǒng)，可以大規(guī)模地模擬復(fù)雜的傳感器類型和大規(guī)模的互動(dòng)場(chǎng)景和交叉口。通過使用比以前的模型少得多的數(shù)據(jù)，該團(tuán)隊(duì)能訓(xùn)練自主車輛，而這些車輛可能比那些在大量真實(shí)世界數(shù)據(jù)上訓(xùn)練的車輛要強(qiáng)大得多。
CSAIL博士生Alexander Amini說道：“這是數(shù)據(jù)驅(qū)動(dòng)的自主車輛模擬能力的巨大飛躍，也是處理更大駕駛復(fù)雜性的規(guī)模和能力的增加。VISTA 2.0展示了模擬傳感器數(shù)據(jù)的能力，遠(yuǎn)遠(yuǎn)超過了二維RGB相機(jī)，還包括具有數(shù)百萬點(diǎn)的極高維度三維激光雷達(dá)、不規(guī)則時(shí)間的基于事件的相機(jī)，甚至還包括跟其他車輛的互動(dòng)和動(dòng)態(tài)場(chǎng)景?！?/p>
科學(xué)家團(tuán)隊(duì)能擴(kuò)展諸如超車、跟車和談判等互動(dòng)駕駛?cè)蝿?wù)的復(fù)雜性，包括在高度逼真的環(huán)境中的多代理場(chǎng)景。
因?yàn)榇蟛糠謹(jǐn)?shù)據(jù)只是日常駕駛，所以這為自動(dòng)駕駛汽車訓(xùn)練人工智能模型涉及難以保障的不同種類的邊緣案例和奇怪、危險(xiǎn)的場(chǎng)景。從邏輯上講，我們不能只是為了教一個(gè)神經(jīng)網(wǎng)絡(luò)如何不撞上其他汽車而撞上其他汽車。
最近，有一個(gè)轉(zhuǎn)變是，從更經(jīng)典的、由人類設(shè)計(jì)的模擬環(huán)境轉(zhuǎn)向由真實(shí)世界的數(shù)據(jù)建立的模擬環(huán)境。后者具有巨大的逼真度，但前者可以很容易地對(duì)虛擬攝像機(jī)和激光雷達(dá)進(jìn)行建模。隨著這種模式的轉(zhuǎn)變，出現(xiàn)了一個(gè)關(guān)鍵問題：自動(dòng)駕駛汽車所需要的所有傳感器的豐富性和復(fù)雜性如激光雷達(dá)和基于事件的攝像機(jī)都是比較稀疏的并能否準(zhǔn)確地被合成？
在一個(gè)數(shù)據(jù)驅(qū)動(dòng)的世界里，激光雷達(dá)傳感器數(shù)據(jù)更難解釋--你實(shí)際上是在試圖生成具有數(shù)百萬個(gè)點(diǎn)的全新的三維點(diǎn)云，而這一切只是從世界的稀疏視圖中提取。為了合成三維激光雷達(dá)點(diǎn)云，研究人員使用了汽車收集的數(shù)據(jù)并將其投射到來自激光雷達(dá)數(shù)據(jù)的三維空間，然后讓一個(gè)新的虛擬車輛從原來的車輛所在的地方開過去。最后，他們?cè)谏窠?jīng)網(wǎng)絡(luò)的幫助下，將所有的感官信息投射回這個(gè)新的虛擬車輛的視野中。
再加上基于事件的攝像機(jī)的模擬，其運(yùn)行速度超過每秒數(shù)千次事件，該模擬器不僅能模擬這種多模態(tài)信息而且還能夠?qū)崟r(shí)進(jìn)行模擬。這使得離線訓(xùn)練神經(jīng)網(wǎng)絡(luò)成為可能，但也可以在增強(qiáng)現(xiàn)實(shí)設(shè)置中對(duì)汽車進(jìn)行在線測(cè)試以進(jìn)行安全評(píng)估。Amini說道：“在數(shù)據(jù)驅(qū)動(dòng)的模擬領(lǐng)域，這種規(guī)模的復(fù)雜性和逼真度的多傳感器模擬是否可能，則是一個(gè)非常開放的問題?！?/p>
就這樣，駕校變成了一個(gè)聚會(huì)。在模擬中，你可以四處走動(dòng)，有不同類型的控制器，模擬不同類型的事件，創(chuàng)建互動(dòng)場(chǎng)景并直接丟進(jìn)甚至不在原始數(shù)據(jù)中的全新車輛。他們測(cè)試了車道跟蹤、車道轉(zhuǎn)彎、汽車跟蹤及更多棘手的場(chǎng)景如靜態(tài)和動(dòng)態(tài)超車。有了多機(jī)構(gòu)，真實(shí)的和模擬的代理人都可以互動(dòng)，新的代理人可以被丟進(jìn)場(chǎng)景并以任何方式控制。
但現(xiàn)在人類依賴的一個(gè)護(hù)欄還不能被模擬，那就是人類的情感。這是友好的揮手、點(diǎn)頭或確認(rèn)的眨眼開關(guān)，這是團(tuán)隊(duì)希望在未來工作中實(shí)現(xiàn)的細(xì)微差別類型。
“這項(xiàng)研究的核心算法是我們?nèi)绾文軌虿扇∫粋€(gè)數(shù)據(jù)集并建立一個(gè)完全合成的學(xué)習(xí)和自主的世界。這是一個(gè)平臺(tái)，我相信有一天可以在整個(gè)機(jī)器人技術(shù)的許多不同軸線上擴(kuò)展。不僅僅是自動(dòng)駕駛，還有許多依賴視覺和復(fù)雜行為的領(lǐng)域。我們很高興發(fā)布VISTA 2.0，以此來幫助社區(qū)收集他們自己的數(shù)據(jù)集并將其轉(zhuǎn)換為虛擬世界，他們可以直接模擬自己的虛擬自主車輛，在這些虛擬地形上行駛，在這些世界中訓(xùn)練自主車輛，然后可以直接轉(zhuǎn)移到全尺寸的真正的自動(dòng)駕駛汽車，”Amini說道。
