來源：映維網 作者 顏昳華
谷歌正在將沉浸式媒體技術提升到一個新的水平。一組研究科學家和工程師團隊日前分享了一種用於光場視頻的實用系統，並展示了錄製、重建、壓縮和傳送高質量沉浸式光場視頻的能力。其中，光場視頻的體積之小足以通過常規Wi-Fi傳輸，從而大大促進了沉浸式增強現實和虛擬現實領域的進步。
由於能夠在模擬環境中實現一種仿如現實般的感覺，沉浸式增強現實和虛擬現實在近年來受到了主流的關注。希望行走在約塞米蒂的紅杉林而非單調乏味的客廳？或者在親臨工作室里欣賞藝術家創作雕塑？這可以通過沉浸式增強現實/虛擬現實技術實現。
儘管這個領域尚處於新興發展階段，但谷歌團隊已經解決了一個關鍵挑戰，在光場視頻方面取得了重大的研究進展。由谷歌研究科學家麥可·布羅克斯頓（Michael Broxton）和谷歌高級工程師保羅·德貝維奇（Paul Debevec）領銜的研究團隊計劃在SIGGRAPH 2020大會演示一個全新的系統。今年的大會將轉到線上進行，而共聚一堂的行業專業人士將從不同的角度探討計算機圖形和交互技術，並繼續將其作為展示前瞻性思維和研究的首要場所。
相關論文：IMMERSIVE LIGHT FIELD VIDEO WITH A LAYERED MESH REPRESENTATION
論文第一作者布羅克斯頓表示：「這是我們在光領域研究的最新成果。我們令這項技術變得實用，並使我們更接近於為更多消費者設備提供真正的沉浸式體驗。圖片和視頻對移動設備的日常體驗扮演著巨大的角色，而我們希望沉浸式光場圖像和視頻能夠在未來的AR和VR平台中發揮同樣重要的作用。」
谷歌研究人員曾在SIGGRAPH 2018大會展示過類似的研究，當時他們在沉浸式虛擬現實中引入了圖片真實感的光場靜止圖像。然而，這個全新的系統為沉浸式媒體內容增加了另一個關鍵要素：視頻。光場視頻為用戶提供了一個更為動態的虛擬環境，允許其瀏覽跨度超過180度的場景。用戶可以在虛擬世界中自由窺探角落，並享受更大的深度感。所述系統能夠捕獲早期方法難以支持的內容，如反射表面。這樣可以帶來一個更為真實的環境。例如，海浪反射的陽光，或者汽車閃亮引擎蓋反射的光線能夠隨著用戶的注視而自然變幻，一切就像現實世界一樣。
SIGGRAPH 2020演示視頻
團隊研發了一個低成本的裝置來錄製沉浸式光場視頻。所述裝置由46個安裝在輕質亞克力圓頂的運動相機組成。利用由同一谷歌研究小組成員在2019年開發的機器學習算法DeepView，團隊將來自每台相機的視頻流組合成一個場景的3D表示。論文介紹了一種全新的「分層網格」表示，它由一系列具有半透明紋理的同心層組成。通過從後到前地渲染所述層，場景將能變得生動逼真。在以前，合成相機一開始未能捕獲的視點是一個非常困難的問題，但谷歌團隊的新方法解決了這一痛點，並允許用戶在探索光場視頻內容時自由地轉動頭部。
這項研究的另一個突破是數據壓縮。谷歌團隊希望開發出一個不僅能夠重建視頻並獲得真正沉浸式AR/VR體驗的系統，而且可以通過消費者AR/VR頭顯，甚至是Web瀏覽器訪問體驗。所述系統能夠在壓縮光場視頻的同時保持原始的視覺質量，並使用傳統的紋理貼圖和廣泛支持的視頻編解碼器來實現。可以說，他們已經成功地將下一代媒體格式從當今的圖像和視頻壓縮技術中剝離出來。
布羅克斯頓指出：「用戶將能夠通過一個普遍的、快速的網際網路連接來傳輸這種光場視頻內容。克服這個問題將能把這項技術帶向更廣泛的受眾。」
德貝維奇總結到：「對於完成這個項目，我們感覺我們已經克服了讓虛擬體驗變得真實、身臨其境、可分發和舒適的主要障礙。我非常期待AR/VR創意社區利用這項技術創作的體驗。」
原文連結：https://yivian.com/news/75849.html