前沿科技 | 混合現實(MR):數位化的未來

億歐網 發佈 2023-02-08T02:56:59.346549+00:00

作者 | Louis Rosenberg編譯 | YIFEI對於許多人來說,「元宇宙」這個詞已經被負面的含義所玷污,讓人聯想到充滿可怖化身的卡通世界,或者出售「虛擬房地產」的機會主義平台。對另一些人來說,這個詞只會讓他們聳聳肩,然後問:「我為什麼要花時間做這件事?

作者 | Louis Rosenberg

編譯 | YIFEI

對於許多人來說,「元宇宙」這個詞已經被負面的含義所玷污,讓人聯想到充滿可怖化身的卡通世界,或者出售「虛擬房地產」的機會主義平台。對另一些人來說,這個詞只會讓他們聳聳肩,然後問:「我為什麼要花時間做這件事?」

就我個人而言,我認為現在註銷元宇宙還為時過早,我們還有事要做。遊戲行業需要部署更真實、更藝術的體驗,釋放真正的創造力和生產力。我們還需要糾正對元宇宙最大的誤解:認為虛擬世界將取代我們的現實生活。

元宇宙不是這樣展開的。

不要誤會,會有流行的完全模擬的虛擬世界,但這些將是我們在幾個小時內陷入的臨時「逃避」,類似於我們今天看電影或玩電子遊戲。但真正的元宇宙,那個深刻影響我們日常生活的元宇宙,不會把我們從我們的物理環境中移除。

相反,元宇宙將是一個混合的現實,其中沉浸式虛擬內容與現實世界無縫結合,擴展和美化我們的生活。Meta和HTC最近幾個月都推出了令人印象深刻的新款耳機,使得質量好壞參半的現實成為可能。據廣泛報導,蘋果公司將在六月份發布一款混合現實的產品。

為什麼是混合現實?

很簡單,我們不喜歡與周圍環境隔絕。當然,你可以在一個完全模擬的世界中給別人演示。讓同一個人在完全的虛擬實境中呆上一個小時,他們可能會不太舒適。幾乎兩個小時對很多人來說太多了。有些人認為,混合現實之所以有用,是因為它滿足了人們看一眼物理空間裡的東西的欲望,桌子、手機、甚至你的狗,但實際上,它的意義遠不止於此。

這與我們的大腦是如何工作的有關——我們建立的周圍環境的心理模型不僅包括我們周圍看到的東西,還包括我們在這個世界上聽到和感覺到的東西,以及我們對已知事物的記憶。它給了我們態勢感知,所以我們不需要一直掃視房間。我們可以專注於眼前的事物,但仍能在一個連貫的空間中感受到當下。

但在一個完全虛擬的世界裡,坐在桌子前或者站在一個房間裡,我們能感受到周圍的房間,雜亂的桌子和在大廳里狂吠的狗,和眼前的虛擬世界之間幾乎總是不匹配,因此會感到不安。

這種現象第一次出現是在1991年,當時我還是史丹福大學和美國宇航局的虛擬實境研究員,研究如何在早期視覺系統中優化深度知覺。那時候的技術很粗糙,不舒服,圖像笨拙,延遲太嚴重,會讓人感到噁心。正因為如此,許多研究人員認為我們只是需要更好的硬體,人們在虛擬世界中不會感到不舒服。

誠然更好的硬體會有所幫助,但我非常確定還有其他事情在發生,至少我的大腦在我能看到的虛擬世界和所能感覺到的真實世界之間存在一種緊張關係。我相信,正是這種兩種對立的思維模式之間的感知衝突,讓人感到不安,讓虛擬世界看起來不那麼真實。

為了克服這種情境不匹配,我想利用虛擬實境的力量,將它與真實環境結合起來,創造一種視覺、空間和物理感官完美結合的統一體驗。如果能夠與現實和虛擬互動,就好像它們居住在同一個感性現實中,那麼精神緊張感就會消失。

幸運的是,1992年,我得到了美國空軍的資助,在賴特 · 帕特森空軍基地開發了一個混合現實系統的原型。它被稱為虛擬裝置平台。它不僅支持視覺和聲音,還支持觸摸和感覺(通過3D觸覺) ,將虛擬物體添加到物理世界,感覺十分真實,從而幫助用戶以更快的速度和更靈活的方式執行手動任務。希望有一天這能夠支持範圍廣泛的活動,從協助外科醫生進行微妙的手術到通過遙控機器人控制幫助技術人員修理衛星。

當然,第一個MR原型並不支持手術或衛星修復。它的構建只是為了測試虛擬對象是否可以添加到現實世界的任務中,並提高人類的表現。為了測試這一點,我編寫了軟體來創建各種虛擬裝置,幫助用戶完成任務。這些固定裝置從虛擬的表面和錐體到模擬的軌跡,我們可以沿著它滑動,而早期的直通攝像機則以3D方式對準活動。我甚至使用了美國空軍(AAMRL)開發的早期3D音頻,以確保聲音在空間上是一致的。它確實起作用了,提高了速度和精度。

Virtual Fixtures project (1991–1994) at Air Force Research Laboratory — first Mixed Reality (MR) experiments in augmented real / virtual 3D space.

虛擬裝置項目(USAF) : 用戶和任務板/並排1993

當我第一次把一個真正的釘子移到一個真實的洞裡,一個虛擬的表面自動打開了。雖然是模擬的,但感覺是真實的,讓我沿著它的輪廓勾畫。在那一刻,真實世界和虛擬世界成為了一個現實,一個統一的混合現實,其中物理和數字成為了一個單一的感知體驗,滿足了所有空間感官——視覺、聽覺、本體感覺、動覺和觸覺。當這一目標實現時,你就不再思考哪個部分是物理的,哪個部分是模擬的——那就是現實。

那是我第一次經歷一個真正的混合現實。這可能是第一次有人。我之所以這麼說,是因為一旦你與真實和虛擬的互動結合成一個單一的身臨其境的體驗,你所有的感官都會在空間上保持一致,這兩個世界會在你的腦海中合二為一。這幾乎就像是一種視覺錯覺中有一張隱藏的臉你看不到,然後有東西點擊,它就出現了。真正的混合現實體驗應該是這樣的:真實和虛擬的無縫融合,如此自然和真實,以至於你立刻意識到我們的數字未來將不是真實或虛擬的,而是兩者兼而有之——一個世界,一個現實。

相隔30年的混合現實技術(1992-2022)

我對這個行業的發展印象深刻,尤其是在過去幾年。上圖(左圖)顯示的是1992年我在賴特 · 帕特森空軍基地拍攝的混合現實(MR/AR)。右圖是2022年的我,戴著一個混合了彩色現實功能的Meta Quest Pro耳機。在這30年間,這項技術在性能、效率和尺寸方面都取得了驚人的進步。

而看不到的是,30年前為了進行我的美國空軍實驗而運行的大量的全尺寸計算機、安裝在天花板上的攝像機,或者是我身後的巨大的線束,線纜連接著各種機器。這就是為什麼現代耳機的新浪潮如此令人印象深刻。一切都是獨立的,電腦、攝像頭、顯示器、追蹤器……而且它很舒適,重量輕,電池供電。太不可思議了。

這才剛剛開始。混合現實的發明是一個持續的過程,令人驚嘆的新產品隨時準備起飛。不僅僅是Meta、HTC和蘋果令人印象深刻的新型耳機將推動這一願景向前發展,還有來自Magic Leap、Snap、微軟、谷歌、聯想、Unreal、Unity和許多其他大公司的輕質眼鏡和創意軟體工具。

與此同時,無數的開發者正在挑戰創造力和藝術性的極限,開啟真實和虛擬混合的可能性,從新型棋盤遊戲(TiltFive)和強大的醫療用途(Mediview XR) ,到Niantic實驗室的非凡戶外體驗。

這就是為什麼我相信元宇宙。真正的元宇宙,將是真實和虛擬的融合,無縫地結合,用戶將不再思考哪些元素是物理的,哪些是數字的。我們只會繼續我們的日常生活,並參與一個被神奇地修飾過的現實。這已經醞釀了很長一段時間,但2023年將是我們的混合現實未來真正開始成型的一年。

關鍵字: