計算機視覺是一個在過去幾十年中被研究得相當多的領域，主要是因為它在建造自動駕駛汽車和其他可以像人類一樣"看"世界的工具方面有著直接和明顯的應用。然而，直到最近才看到這種水平的研究的一個領域是使用聲音而不是視覺來模擬環(huán)境。現(xiàn)在，麻省理工學院（MIT）的研究人員已經(jīng)撰寫了一篇研究論文，涉及在這一領域訓練的機器學習（ML）模型的構建。
麻省理工學院新聞網(wǎng)站上的一篇博文介紹說，MIT-IBM沃森人工智能實驗室合作建立了一個ML模型，利用空間聲學來觀察和模擬環(huán)境。簡單地說，這個模型通過弄清聽眾如何聽到從某一點發(fā)出的聲音并傳播到不同的位置，實現(xiàn)了環(huán)境的映射。
這種技術有許多好處，因為它可以只用聲音來確定環(huán)境物體的基本三維幾何形狀。然后，它可以呈現(xiàn)準確的視覺效果來重建環(huán)境。潛在的應用包括虛擬和增強現(xiàn)實，以及增強人工智能代理，使其能夠利用聲音和視覺來更好地可視化其環(huán)境。例如，與計算機視覺相比，水下探索機器人可以利用聲學來更好地確定某些物體的位置。
圖形顯示的是房間的3D模型，下面是帶有聲音的熱視圖類型的概念
研究人員強調，建立這種基于聲音的ML模型要比基于計算機視覺的模型復雜得多。這是因為計算機視覺模型利用了一種叫做光度一致性的屬性，這意味著一個物體從不同角度看時看起來大致相同。這不適用于聲音，因為根據(jù)聆聽方的位置和其他障礙物，從一個源頭聽到的東西可能非常不一樣。
為了解決這個問題，研究人員使用了另外兩個特征，即互易性和局部幾何學。前者基本上意味著，即使交換了說話者和聽眾的位置，聲音也會完全相同。同時，局部幾何映射涉及在神經(jīng)聲場（NAF）中結合互易性來捕捉物體和其他建筑組件。
為了讓ML模型在測試環(huán)境中工作，需要向它輸入一些視覺信息和光譜圖，其中包含基于發(fā)端者和聽眾的指定位置的音頻聽起來會是什么樣子。根據(jù)這些輸入，該模型可以準確地確定當聽眾在環(huán)境中移動時，聲音將如何變化。
該研究論文的主要作者Andrew Luo指出：“如果你想象自己站在一個門口附近，對你聽到的聲音影響最強烈的是那個門口的存在，而不一定是房間另一邊離你很遠的幾何特征，我們發(fā)現(xiàn)這些信息比簡單的全連接網(wǎng)絡能更好地概括?！?/p>
展望未來，研究人員希望進一步加強該模型，使其能夠將更大、更復雜的環(huán)境可視化，如一棟建筑甚至整個城市。
